网易伏羲虚拟人首席专家丁彧分享了虚拟人视觉技术的创新应用。他指出，传统虚拟人制作依赖美术手工和动作捕捉技术，存在时间成本高、经济成本高、数据复用性差等问题，而人工智能技术的发展对虚拟人产业化至关重要。
视觉内容智能创作：
- 语音驱动表情&动作：通过输入配音，自动合成虚拟角色表演动画，支持3D和Live2D美术角色，实现细腻真实的表情和连贯自然的动作。
- 像素级说话人脸视频合成：利用AI技术，根据语音输入合成特定人物的视频，包括嘴唇参数合成和眉眼表情参数合成，技术基于AAAI 2021和GDC 2021的论文成果。
- 特定人物的视频合成：通过融合真实人物和虚拟人物特征，实现特定人物的视频合成。
落地案例：
- 游戏动画：支持游戏创作者快速制作游戏剧情动画资源，已合作《逆水寒》、《天谕》等知名游戏，大幅提高资源生产效率。
- 游戏营销视频：利用AI技术制作游戏营销视频。
- 虚拟偶像短视频：毫秒级自动合成全脸表情及全身动作。
- 教育动画：为有道乐读打造虚拟伴读IP“可可”，解决动画资源生产难题。
AI技术竞赛成果：
- 网易伏羲虚拟人团队在ICCV2021和CVPR2022举办的人脸表情感知国际挑战赛（ABAW）中蝉联多项冠军，包括表情动作单元检测和情绪识别。
- 挑战赛面临样本不平衡、类别不平衡、标签错误和标签歧义性等困难，网易伏羲团队通过创新解决方案克服这些挑战。
- ICCV2021和CVPR2022的解决方案分别基于Prior Model和Dynamic Multimodal Features，在大规模数据集上完成预训练，有效识别细粒度的人脸表情。
落地应用：
- 视频情绪识别：识别基本情绪（中性、高兴、伤心等）和任意一种表情动作（吐舌头、抿嘴笑等）。
- 虚拟人&人机交互：定义135种表情对应135种情绪/状态，实现更丰富的虚拟人交互方式。
总结：
网易伏羲虚拟人团队通过AI技术创新，实现了虚拟人视觉内容的智能创作，并在多个领域落地应用，显著提升虚拟人产业化规模。团队在人脸表情感知国际挑战赛中取得的优异成绩，进一步证明了其AI技术的领先地位。
