小米-张俊博-声音技术的未来——大模型带来的音频算法革新

对大模型的思考

• 大模型的核心特征：大模型的成功体现了“发现”而非“发明”，其原理是量变导致质变，效果上呈现“涌现”现象，但人类对其原理尚未完全理解。
• 大模型的发展方向：大模型的成功为AI研究指明了方向，尽管其原理尚未完全明晰，但研发门槛较低，推动了大模型技术的快速发展。
• 大模型的局限性：大模型目前主要以文本形式训练数据为主，但人类更倾向于视觉和声音交互，未来多模态大模型（如GPT-4-V）的发展将更为重要。

小米的音频大模型探索

• 小米的IoT平台规模：小米拥有全球最大的消费级IoT平台，已连接6.99亿设备，其中5个及以上小米IoT设备的用户数占比显著。
• 小米声学语音技术：小爱同学背后的语音识别技术框架在手机和IoT设备上针对垂域的识别率极高，已形成成熟的迭代优化流程。
• Whisper与小米Prompt-ASR：Whisper采用多语种训练数据和带有多任务标签的680,000小时监督数据，而小米Prompt-ASR通过prompt约束提升语音识别率。
• 基于大模型的语音合成：小米基于大模型的语音合成技术更加自然，支持Prompt定制，如VALL-EX模型展示了显著的合成效果提升。
• 小米自然语音TTS技术：小米声音识别技术框架基于基座音频编码器，训练数据时长超过30年，参数量超过10亿，并探索百亿参数量模型。
• 基座音频编码器的多任务应用：基座音频编码器已应用于声音增强、编辑和生成，部分具备大模型能力，需进一步整合。
• 基于Prompt的声音生成：小米在声音生成领域取得进展，但仍需进一步整合各任务和模态。

结语

• 大模型的意义：大模型的成功为AI研究指明了方向，多任务统一学习可带来真正的理解能力和任务自推广能力。
• 未来趋势：各任务的统一、各模态的统一是大势所趋。