4-2 数字人建模和动画关键技术 - 金小刚

01 人脸肖像编辑和服装设计

• 人脸肖像编辑技术：
  • 胖瘦调整：通过参数化重塑视频肖像的形状，实现胖瘦调整（ACM Multimedia Oral 2021）。
  • 双下巴去除：利用潜在空间分类技术，实现精细到粗略的人脸结构编辑（SIGGRAPH 2021）。
  • 肖像去头发：基于GANs的头发移除方法，从肖像中去除头发（CVPR 2022）。
• 虚拟服装技术：
  • 虚拟服饰市场：消费者购买虚拟服装后，通过上传照片合成服装效果，应用于社交媒体。
  • 可持续发展：虚拟服装减少时装业废水（20%）和碳排放（10%）。
  • 应用案例：凌笛科技（Style3D）与国内男装公司合作，实现虚拟验证；百度AI数字人希加加采用虚拟服装技术。

02 用于睫毛抠图的数据集与基线方法

• 研究背景：
  • 现有技术多集中于人脸几何、毛发重建、眼睑重建等，但缺乏精确的睫毛编辑方案。
  • 睫毛抠图挑战：
    • 睫毛运动且难以静止，难以采集严格对齐的图像。
    • 睫毛覆盖眼球和眼睑，背景难以分离替换。
• EyelashNet：
  • 数据集：包含5400个高质量捕获的睫毛抠图数据和5,272个虚拟睫毛抠图数据。
  • 荧光标记系统：用于捕捉高质量的睫毛图像和遮罩。
  • 方法：
    • 数据采集：16个相机、365nm紫外闪光灯，通过荧光标记原理对睫毛上色。
    • 蒙版推理：基于GCA网络，输入三分图输出睫毛蒙版。
    • 训练：渐进式训练，包括初始数据集（R1）和第二轮数据集（R2）。
  • 结果：
    • 在采集测试数据集和互联网测试数据集上，性能优于Li and Lu [2020]和Nam et al. [2019]。
    • 消融实验验证了蒙版推理网络和渐进式训练的有效性。
• 应用：睫毛美化编辑、睫毛换颜色、睫毛增长。

03 基于深度学习的宽松衣服实时动画

• 研究背景：
  • 现有技术：
    • 物理模拟：基于物理定律，计算成本高。
    • 数据驱动模型：学习真实服装数据，性能较快。
  • 贡献：
    • 基于深度学习的方法，使用虚拟骨骼模拟宽松服装复杂变形。
    • 新方法处理模拟参数与身体运动的异质性。
• 方法：
  • 数据准备：
    • 物理模拟生成序列，Laplacian平滑分解为低频和高频网格。
    • 皮肤分解为LBS模型（包含静止姿势、皮肤权重矩阵和虚拟骨骼运动序列）。
  • 运动网络：
    • 低频模块：GRULBS网络，将身体运动转换为虚拟骨骼运动，生成低频网格。
    • 高频模块：GRUGNN网络，提取全局和局部特征，生成高频变形。
  • RBF模拟参数变化：
    • 使用RBF网络计算不同模拟参数的权重，生成最终结果。
• 结果：
  • 性能：单运动网络约300fps，交互式修改参数时25ms/帧。
  • 质量：
    • 在宽松服装上生成结果误差最低，优于现有方法。
    • 在紧身服装上生成结果可比。
  • 消融实验：RBF网络比其他方法更有效地处理模拟参数变化。
• 讨论：
  • 未来工作：碰撞处理、其他皮肤方法。