3-5 可视化数字人技术在 Soul 的应用 - 甘启

01 背景介绍

• Soul的社交元宇宙场景要求：好看、有趣、参与度高，同时需满足实时性、轻量级算力及复杂应用场景。
• N⋀W⋀架构：为Soul提供技术支撑，满足上述场景需求。

02 关键技术

• 技术路线：头部→半身→全身渐进式开发，结合图像、图形与设计资源协同开发。
• 识别&驱动能力：
  • 头部：支持脸部检测、人脸重建、精细化表情识别，提供74个捏脸系数和56个表情系数，包含基础头、表情头、个性头及配饰/动画/骨骼动画。
  • 半身：通过手部识别（检测、关键点、拓扑关系）和IK系统实现，采用前置摄像头关注手势与表情的非AR方案。
  • 全身：结合2D/3D姿态估计，通过Motion retargeting和关节约束驱动目标模型。
• 渲染效果：支持镭射、半透明皮革、阴影轮廓光、动态骨骼等特效。
• 设计资源：提供丰富的虚拟形象和资产素材。

03 场景应用

• 捏脸&聊天：支持个性化捏脸和实时视频聊天。
• 沉浸场景：构建开放式元宇宙，实现多元可切换的宇宙场景。

04 总结与展望

• 总结：采用头部→半身→全身的技术路线，通过图像+图形+设计协同开发。
• 展望：未来将实现图像、语音与文字综合驱动，虚拟形象与资产格式互通，并落地基于手机AR/VR硬件的虚实结合场景。