4-1 数字人技术革命：动捕、重建、生成与智能 -刘烨斌

研究背景
3D数字人是新一代信息科技的核心技术，以人为目标的三维感知、重建与生成是全息交互、AR/VR、元宇宙等领域的关键技术。数字人技术变革包括解构现实世界、映射到虚拟、创造虚拟内容，通过动捕、重建、生成与智能实现沉浸性、交互性和创作性。

主要工作
一、无标记运动捕捉

• 核心问题：如何充分挖掘多视点信息，优化匹配策略，减少视角冗余，解决时间-空间-角度4维时空对象特征解耦难题。
• 方法：提出4D多视时空聚类解耦模型，包括单视角分配、多视角匹配、时域跟踪协同优化，实现实时多人体骨架捕捉（如Zhang et al., CVPR 2020；多人体全身动捕，IEEE ICCV 2021；单RGB相机人手实时运动捕捉，CVPR 2022）。

二、便捷实时高精动态三维重建

• 核心问题：解决不完整融合表面之间的实时、精准非线性映射问题。
• 方法：提出双表面三维重建方法（如Yu et al., DoubleFusion, CVPR 2018/2021；Function4D, CVPR 2021），利用内层表面完整性和语义性实现高精度动态重建，降低系统成本至5万元以内（对比微软Holoporation百万级成本）。
• 其他进展：多RGB重建（DeepMultiCap, ICCV 2021）、隐式距离场与神经辐射场融合（DoubleField, CVPR 2022）、扩散生成方法（DiffuStereo, ECCV 2022）、表面流模型实时生成新视点（FloRen, SIGGRAPH Asia 2022）。
• 单一图像三维重建：提出模板驱动的隐表面重建方法（DeepHuman, ICCV 2019；PaMIR, TPAMI 2021），实现高质量单图像三维重建；隐模板自监督学习方法（Deep Implicit Templates, CVPR 2021）自动建立模板，提升语义和细节表征能力。
• 三维人脸表征：FaceVerse（Wang et al., CVPR 2022）实现十万数据级别的中国人脸三维表征，支持同拓扑配准与单图像拟合，拟合精度领先；实时单RGB相机人脸表情捕捉与重建。

三、高真实感化身生成

• 方法：局部结构化神经辐射场（Zheng et al., CVPR 2022）实现宽松服饰下的高真实感人体Avatar生成；结合2D对抗图像生成及3D神经辐射场（IDE-3D, SIGGRAPH Asia 2022）生成实时可编辑3D人脸；基于StyleGan的头部化身生成（Wang et al., TPAMI 2022），利用2~3分钟视频数据生成高清图像。

未来研究工作

• 多模态AI数字人：结合便捷运动捕捉、逼真化身生成、高精三维重建、情感陪伴等技术，构建AI数字人技术路线。
• 战略意义：AI数字人将成为数字经济新战场、科学研究新范式、数字生命新形态、人类文明新世界的重要组成部分。