报告内容围绕音乐领域的技术创新与应用展开,主要聚焦于音乐的分离、超分辨率提升以及母带处理等方面,旨在通过人工智能(AIGC)技术优化音乐体验。以下是总结归纳的关键点:
音乐分离
-
技术方法:报告介绍了从2018年至2023年,音乐分离技术的发展,包括Conv-TasNet、Spleeter、ResUNet、Decouple+Hybrid、Demucs、BSRNN等方法。其中,BSRNN的核心思想在于对音乐的频域切分不同子带,并在时域和频域上建立序列模型。
-
业务应用:音乐分离技术在多个场景中得到应用,包括:
- 臻品全景声:通过6轨分离制作全景声,为SVIP用户带来沉浸式体验。
- TME聚星、TMEStudio、启明星:面向用户提供音乐分离服务,如声伴分离、6轨分离等。
- 全民K歌:提供临境音效、干声分离、五维打分、伴奏分离等服务,增强用户体验。
- 懒人听书、启明星音色试唱、低频公益:利用干声分离技术改善特定场景下的聆听体验。
- AIGC-X:用于识别歌曲中的人声是否由AI生成。
- 无混响无和声干声分离:用于歌声合成,保留原曲的混响和声,提升合成质量。
音乐超分
- 技术原理:报告提出了一种使用生成对抗网络(GANs)的超分辨率方法,将音乐升至96kHz/24bit的Hi-Res音质。
- 业务应用:实现实时处理,提升音乐的清晰度和细节。
珍品母带
- 母带概念:母带是歌曲制作完成后的最初版本,代表最高品质的录音状态。
- 母带模型:介绍了一个从192kHz/24bit母带到高解析度无损音质(SQ)的母带模型,以及如何通过优化目标来提升音频质量。
- 业务应用:优化后的母带模型上线后,显著提升了音乐的播放量、观看次数和人均播放时长,增强了用户的体验和口碑。
总结
报告强调了腾讯音乐天琴实验室通过AIGC技术在音乐分离、超分辨率提升和母带处理方面的创新应用,旨在为用户提供更高品质、更个性化的音乐体验。通过一系列的技术革新和业务扩展,不仅提高了音乐的播放质量,还丰富了音乐内容的多样性和用户体验的深度。