7-4 在高保真孪生数字人技术中的自动化流程探索_张启煊 影眸科技

高保真孪生数字人技术中的自动化流程探索

扫描技术

• 动态DOME（体积摄影）：2017年起步，通过体积摄影技术实现高精度3D人脸重建，相关研究包括Cao等人的工作（2018）和Chen等人的工作（2019）。
• PlenopticStage技术：2022年推出，亚洲唯一，世界唯二亚微米级皮肤材质扫描技术，实现超高精度表情扫描。
• 代价与问题：传统高模重建产生数千万三角面片，渲染性能消耗大，且对艺术家不友好。

重拓扑

• 问题：现有重拓扑方法仍需高模重建，产生边角、UV不规整、表情不到位等问题，且增加人工环节。
• 解决方案：联合研发基于神经表示和动态辐射场渲染技术，实现更优的重拓扑效果。

PBR材质

• 特点：个性化肌肉毛孔级细节，完备PBR材质，动态贴图，独立资产。
• 优势：专业级LookDev和RealRendered效果，皮肤微结构精细。

驱动技术

• 常规方案：基于通用骨骼蒙皮、BlendShape的绑定方案，如MetaHuman骨骼蒙皮迁移，但不符合真人本人表情，工作量极大，对艺术家水平要求高，难以实时解算。
• 动态贴图：结合首个产品级人脸资产数据库（PFA），实现个性化肌肉毛孔级细节和完备PBR材质动态贴图。
• 未来方向：毛发和布料驱动的研发正在进行中。

技术对比

• 4DSCAN与传统流程对比：
  • 4DSCAN：微表情精准记录，无需人工Key帧，制作周期短，但可编辑性差，无法复用，拍摄复杂，无法获取逐帧PBR。
  • 传统流程：具备完备PBR材质，可编辑性强，能够表演新片段，但制作周期长，表情细腻度相对不足，成片受限于面捕精度，无法获取逐帧PBR。