AI音乐应用产业报告

2024.07量子位智库QbitAIInsights分析师丁乔dingqiao@qbitai.com 02产业篇 03展望篇 核心结论 音乐符号模型打开AI音乐生成的大门，音频模型找到AI落地音乐应用的方式 音频路线成为研究热点，为应用爆发奠定技术基础 生成式AI改变音乐产业，简化音乐制作流程，提供音乐创作新思路 数据是技术迭代和商业化过程中最关键的一环，生成音乐中对情感表达的把控是产品迭代的关键 AI音乐生成 定义：AI音乐生成是指通过对大量音乐数据进行学习和分析，掌握音乐的基本规律和风格特征，从而创作出音乐片段或完整的音乐。 •Suno音乐生成领域的「集大成者」，实现AI生成完整歌曲；2024年3月发布V3模型•Udio4月11日，AI音乐生成工具Udio完成测试，正式上线•天工SkyMusic4月，昆仑万维发布基于「天工3.0」打造的「天工SkyMusic」产品 •谷歌发布MusicLM2023年1月，谷歌发布MusicLM，搭建在之前发布的语音模型AudioLM之上•Meta入局2023年6月，Meta推出AudioCraft系列产品，包括负责生成音效的AudioGen，生成音乐的MusicGen以及一个全新的压缩编码方式Encodec •OpenAI发布JukeBox奠定了Transformer文生音乐的基本架构；采用压缩技术让Jukebox能够处理更复杂的音乐，更好地理解音乐文本 •谷歌Megenta项目音乐生成进入神经网络时代 AI音乐生成的基本流程 两种技术路线 音乐符号模型打开AI音乐生成的大门，音频模型找到AI落地音乐应用的方式 符号模型的研究要早于音频模型的研究，但符号模型生成的音乐在最终效果上存在明显的机械、不自然特征，因此在应用侧难以落地。而音频路线在近两年取得了突破性进展，生成的作品更加流畅自然。因此，这条路线成为目前业内更受欢迎的一条路线。 此外，音频模型路线因其生成音乐的完整性更高，且能够直接生成歌曲，对于用户来说可以做到零门槛创作，在商业化上也更具潜力。 音频+音乐符号协同生成 •局限 •原理 音频生成模型 算力成本高昂；音频生成的侵权风险相较于符号生成更大（后者学习乐理规则，前者直接模仿成品音乐） 直接用海量音频数据训练模型，使用深度神经网络和VAE或Transformer等方法，端到端直接生成音乐 •可根据文本直接生成音频•乐谱生成，并且支持对已生成的乐谱进行自动编辑操作•案例： 腾讯的「琴乐大模型」，同时支持文本生成音乐，以及乐谱生成 •原理 •局限 提取出音频中的各类音乐信息，如歌词、旋律、乐器等，并对这些信息进行标注，拆分成音乐的各个环节来生成词、曲等 生成的是音乐的不同部分而非成品音乐，需要通过传统的音乐制作流程，将各部分融合起来，制作成音频内容 音频模型的代表 音频路线成为研究热点，为应用爆发奠定技术基础 MusicLM在跨模态创作和个性化音乐生成上表现出色，而MusicGen则在音乐质量和风格适应性方面具有优势。MusicLM的出现标志着音乐生成技术向更高级别的艺术创作和智能化方向发展，而MusicGen则代表了音乐生成技术在音乐制作和质量方面的进一步提升。 MusicGen同样基于Transformer架构，但更侧重于生成高质量的音乐样本。 MusicLM是一个基于Transformer架构的模型。MusicLM的一个显著特点是能够生成多音轨作品，生成的音乐更具艺术性和个性化。 MusicGen能够生成具有高度复杂性和多样性的音乐作品，同时保持音乐的结构和风格一致性，生成的音乐听起来更加自然。 AI改变音乐产业 音乐制作流程简化，提供创作新思路 音乐产业的核心动力来自于创作部分，属于音乐从0到1的阶段；而音乐制作是音乐从1到100的过程，包含大量的音乐工程。音乐产业在进入工业化阶段后，存在供过于求，创新力不足等问题。 AI音乐生成的出现，为音乐产业带来新的创作思路，让越来越多的人加入到音乐创作当中。此外，AI对于音乐产业的一大变革在于音乐流程的极大简化。原先不同步骤的工序需要不同的人/团队来完成。AI出现后，一个人可以完成所有工序。其中，生成式AI更多运用在创作部分，在制作和发行流程中，也会加入其他AI技术。本报告主要聚焦于生成式AI对音乐产业中部分环节的变革。 艺人可以在流媒体平台发布自己的专辑或单曲，平台为用户匹配适合的歌曲风格，并提供个性化音乐推荐 AI音乐现状 AI制作走向成熟，AI创作处于发展上升期 AI在音乐制作中的应用已经相对成熟，在母带处理、混音等工程含量较高的环节已经的到很好的应用，如Landr通过AI进行母带处理并由此形成稳定的商业模式。然而，在音乐创作中，AI的应用处在早期阶段。Suno属于这个赛道上第一家出圈的公司。昆仑万维、网易天音等是中国市场中的领先者。这份报告在产品侧主要聚焦于生成式AI在音乐创作上的应用。 母带处理 AI音乐产业图谱 一键生成类产品 产品密集发布，初步实现「人人皆可创作」 今年3月，Suno发布V3模型。用户只需给出风格和主题词，几秒钟便可以生成一首两分钟的原创歌曲。一个月后，另一款有相似功能的产品Udio也正式推向市场。「一键生成」成为了AI音乐市场最热的话题，中国市场中网易、昆仑万维、腾讯等公司也推出了音乐生成产品。生成式AI在音乐领域，开启了「人人皆可创作」的时代。产品的可观表现，也激发了资本对于生成式AI落地的信心。Suno在5月22日完成A轮1.25亿美元融资，Udio在4月正式上线之际也宣布完成1000万美元的种子轮融资。 Suno最新发布的V3.5，已经能够完成4分钟的音乐创作，在歌曲的完整度和情感表现上，都较V3.0版本有所提升。 在中文歌曲的呈现上，Suno等海外产品在人声上会出现明显的瑕疵（如声音不够稳），而中国本土的音乐生成软件不论是对中文歌的旋律、节奏等的把控，还是对歌词的理解上，都有更好的表现力。也因此，本土产品在生成音乐的曲风上更加符合本土市场需求。 一键生成类产品对音乐人群的作用 专业人士的「降本增效」工具，爱好者的音乐入门产品 对于非专业人士来说，AI生成音乐主要解决了缺乏乐理的难题。而对于专业人士来说，目前AI更多是在制作环节帮助音乐人更高效地完成工作。 降低创作门槛 提升创作效率 在产品提供的多种风格中进行选择，只需要输入合适的提示词，就能够生成音乐作品。即使用户没有乐理知识，只需对自己想要的音乐流派和风格有所了解，即可生成完整的音乐作品。 相比于传统的音乐制作流程，AI一键生成音乐的成本要低得多，并且在创作效率上也有大幅提高。 对于专业的创作者来说，AI生成音乐尽管不会成为他们的最终作品，却能够生成全新的音乐结构，为创作者提供灵感的同时提升创作效率。 提升制作效率 音乐人无需掌握复杂的工程能力，也能高效完成自己的作品。 生成的音乐需要后期处理来提高其质量，通过算法可自动优化混音、母带处理、声音优化等。这些工序往往涉及大量的重复性工作和对已有数据的处理，也可以由AI完成且成本更低。 应用场景-影视 短剧市场将率先接受AI音乐成品，电影市场中AI仅用于音乐生产的部分环节 AI音乐在影视上的应用可大致分为两个方向：电影配乐和短剧音乐。电影配乐既是观众情绪的助推器，也是电影剧情的“提示词” ，这意味着AI想要达到影视配乐的标准，需要对电影从整体和细节上都准确把握。目前,生成式AI类产品尚无法做到这点。在电影配乐环节，生成式AI更多地是充当灵感激发和效率提升的作用，在创作环节还是由作曲家来把控。而在短剧领域，对于音乐的要求更简单，更加注重音乐传播度，音乐首先服务于传播效果。因此，在音乐的选择上也偏向于有记忆点，旋律简单易于传唱的类型。生成式AI已经能够很好地完成这种类型的音乐创作。正因为这样的适配度，使得AI音乐率先落地在短剧领域。 短剧音乐 电影配乐 •保持创作一致性 •供给端角度 一部短剧的制作周期通常在几周左右，意味着跟剧集相关的所有内容都要在这个时间内完成，包括音乐制作。此外，由于短剧通常以小制作低成本的方式投入，可能没有足够的预算购买版权。 因此，通过AI音乐平台创作与剧情相匹配的歌曲也成为短剧的选择。 作曲家在拍摄过程中需要制作小样（demo）给到导演。传统的方式是导演与作曲家沟通音乐诉求，由后者使用MIDI技术制作小样。由于MIDI制作需要耗费一定时间，因此难以快速呈现音乐与视觉同步后的效果。使用AI音乐工具，作曲家能够根据导演诉求快速生成音乐小样来做视听同步测试，并及时调整，确保音乐跟电影在创作上的一致性。 •市场需求侧 近两年短剧市场呈井喷式增长，仅2023年前8月，全国备案拍摄的微短剧有3574部。据机构数据显示，2023年国内微短剧市场规模373.9亿元。短剧市场的繁荣，也将给AI音乐带来更多市场空间。 •提升基础工作的效率 大型电影中的配乐通常涉及交响乐，由作曲家带领团队分工协作。AI音乐工具能够完成一些基础工作，如乐器的组合、和声写作。谷歌DeepMind研发的模型Lyria能够将输入的音频转化成不同风格并加入伴奏，从而让作曲家快速甄别出最适合演奏的乐器。 •用户需求侧 短剧的观众对于整体内容水平的包容度更高，AI音乐已经能够达到为短剧配乐的水平。 应用场景-游戏 AI音效制作较为成熟，配乐生成最先用在休闲类游戏 音乐、音效、语言是游戏声音设计中的三个基本元素。这份报告主要讨论生成式AI对游戏中音乐和音效的影响。音效可简单分为单音轨音效和多音轨音效，前者在生成上难度最低。在音乐生成上，主要有角色定制曲和游戏主题曲两类，二者在音乐风格上有较大差异。游戏主题曲的商业价值和品牌影响力更高，其对音乐的要求更加严格，创作和制作过程也更加复杂，因此也是生成难度最高的。 配乐生成 更具通用性，需要更复杂的音乐结构，以及对游戏世界观的理解和诠释；通常会加入人声的部分，在技术实现上最为复杂 精品游戏中，配乐已经成为稳固世界观、建立游戏与玩家之间纽带的重要载体。游戏开发商会对配乐有非常高的要求，目前AI尚且无法取代，仅局限于对创作者产生一定的灵感激发作用。而对于休闲游戏，如消消乐这类低成本、轻叙事的游戏来说，对配乐没有特别高的需求且更注重成本控制。在这个细分领域中，开发者通常会向商业曲库购买音轨。有了AI音乐生成后，游戏开发者可以通过更低廉的成本来完成配乐。 更加关注对角色特质的捕捉和准确的音乐表达，同时要与画面和故事叙述相协调，需要考虑更多外部因素 音效生成 音效合成通常是由调音师创作demo，时间长容易出现灵感枯竭的情况。通过AI生成音效，能够为调音师提供不同风格demo的形式，从而保持创作能力在线。AI音效生成目前在游戏领域已有一定应用，如OptimizerAI，能够根据提示词生成适合多场景的音效。 商业模式 流媒体平台或成为商业化中最确定的一方，传统的音乐工程在此轮变革中是受冲击最大的一方 目前，AI生成音乐能够触达的是中低端音乐市场，也就是长尾部分。在这个市场中，平台模式是最合适的商业化手段。这个阶段，付费群体主要是C端用户。个人创作者通过音乐生成软件创作音乐，在网易云音乐、Spotify等平台发布并收取版费。 此外，生成式AI工具的出现，为音乐产业带来了新的生产工具，也因此为音乐产业带来变化。首先，音乐生成软件的出现，将创作者的范围进一步扩大。中低端音乐市场的竞争加剧，高端市场受到的冲击较小。其次，音乐生成软件极大便利了创作者的创作流程，处在中间环节的工程化部分的成本得到大幅下降，这部分的工作也将减少。最后，音乐生成软件公司将会在软件的基础上，搭建音乐分享平台，以此来保持网站的访问量和使用量。 AI音乐生成产品是一类新生产工具，能够帮助创作者降低创作成本，同时增加流媒体平台的作品丰富度。 此外，AI音乐生成产品如Suno为音乐市场带来最大的变化是将创作者扩大为大众群体，实现人