2-1 超写实数字人技术探索- 宋征_网易伏羲 技术美术

超写实数字人技术探索

超写实虚拟人的两套制作思路

• 构建式：解构现实人的机理（皮肤纹理、肌肉解剖等），再从细节重新构建虚拟人。优点是每个环节可控，缺点是需要掌握的细节过于庞杂。
• 整体式：将真实世界的人的外观表现、肌肉运动等视为一组含时间维度的高维向量，通过数据和数学规律拟合。优点是方法简单、效果可预期，缺点是依赖Ground Truth数据的获取。
• 结合：构建式与整体式并非对立，可在不同环节结合使用，如贴图制作多用3D扫描（整体式），渲染技术杂糅构建式方法，Lookdev使用整体式方案等。

形与色：扫描重建与色彩科学

• 形：3D扫描技术精度可达1mm内，是成熟应用广泛的技术。
• 色：色彩科学是认知物理和心理的交界点，通过观察者色彩匹配实验建立色彩空间（如sRGB），并发展了色温、显指等概念。色彩科学将绝对色感变为可普及的技术。
• 色彩空间三要素：色域（如sRGB）、白点、gamma。色彩管理需在扫描、拍摄、渲染、显示等环节进行空间转换，确保颜色一致性。

远不止于引擎内：Lookdev与原教旨主义PBR

• Lookdev：PBR渲染的重要组成部分，是搭建从现实到虚拟的桥梁，通过采集光照、拍摄参考等方式控制材质、成像、色彩管理体系，提供可靠的素材审查环境和制作标杆。
• 绘画与PBR渲染的区别：绘画使用经验性方法论和主观方式，PBR渲染利用科学体系化和理性手段构建虚构但可信的“世界”。
• Lookdev流程：
  1. 确定中心点和方位。
  2. 获得场景光照信息（主光方位、照度、环境球）。
  3. 获得场景光照辅助信息（灰球、铬球、色卡）。
  4. 拍摄身处中心点的参考模特。
  5. 多视角多光照拍摄。
• 皮肤质感因素：SSS、Dual Lobe、Normal和Roughness的Pattern match、MicroNormal和MicroRoughness的Pattern match、Normal-Roughness Variance、Cavity。模型面数在达到一定程度后对光影结构几乎没有贡献。

逆向PBR与LightStage

• PBR渲染输入表面参数和光照，输出渲染结果。通过拍摄不同角度、光照下的模特照片，可以得到其表面参数（如微表面信息）。
• 这种算法称为光度立体法，设备叫Light Stage，可捕捉普通3D重建无法达到的细节，重建精度可达微米级。

4D绑定与动画

• 一种基于数据驱动的面部动画制作方式，4D序列拟合的平均误差基本在1mm内。