3-4 音乐驱动数字人的算法和实践-董治 腾讯音乐

01Music XR Maker 天琴实验室是腾讯音乐首个音视频实验室，致力于通过AI科技提升音娱视听体验。MusicXRMaker是音乐驱动数字人技术栈中的重要工具，涵盖形象构建、声音合成、口型生成、动作捕捉、可视化渲染等功能。其核心特色是基于音乐内容进行虚拟元素的构建，结合AI驱动和音乐驱动技术。

02音乐生成数字人舞蹈 虚拟人舞蹈的产生方式包括动捕棚多目/惯性动捕、视频复刻单目动捕和基于音乐生成的纯算法生成。业内方案主要基于生成技术，如codebook和舞蹈编排。AI编舞需满足美观、节奏韵律和谐、风格一致等商用要求。商用路径包括虚拟偶像、虚拟主播、用户Avatar互动娱乐等，数据获取方式包括动捕棚拍摄和单目视频复刻。

03歌声驱动数字人口型 面捕方案精细级别分为专业面捕和普通光学/手机摄像头方案。口型驱动数据集构建需考虑歌唱和说话驱动的差别。虚拟偶像场景下效果显著，实时性解决方案包括原唱干声、歌词文件、口型驱动模型、实时音频分析等。用户avatar互动场景也得到应用。

04歌声驱动数字人歌唱表情 歌唱时的表情表达需结合情感，带表情和情感的虚拟人歌唱表演效果更佳。情感表达通过歌词文本、演唱干声、歌唱表情五维打分、情绪节点等数据采集实现，包括带表情演唱视频、表情动作手势、面捕/手捕、歌唱表情段、表情打标等。

总结与展望 虚拟形象将变得越来越普遍，中之人面临成本、管理、虚拟形象灵魂归属等问题。AI驱动技术快速升级，涵盖形象创建、视觉驱动、音频合成。TME以音乐为核心进行技术建设，数字人的未来在于技术发展。