您的浏览器禁用了JavaScript(一种计算机语言,用以实现您与网页的交互),请解除该禁用,或者联系我们。[清华大学]:清华大学DS指南:基于DeepSeek的AI音乐词曲创作法 - 发现报告

清华大学DS指南:基于DeepSeek的AI音乐词曲创作法

AI智能总结
查看更多
清华大学DS指南:基于DeepSeek的AI音乐词曲创作法

在国内外一众音乐大模型中,Suno的表现最为优异,在音乐创作的全流程中表现出色。但Minimax、昆仑万维、腾讯、抖音、网易也在开发新功能并完善原有功能所属公司模型名称主要特点亮点功能·能够一次性完成歌词、演唱、编曲、配乐等音乐支持多种音乐风格和情绪状态Suno AlSuno创作的全流程支持所有用户制作4分钟的歌曲多语言交叉混合生成能力创建最长2分钟的欧曲扩展端到端音乐生成能力MiniMaxAbab-music-1纯音乐、清唱作品、伴奏、人声生成支持多种音乐风格和情绪状态拟人化生成能力端到端音乐生成能力昆仑万维天工SkyMusic人声自然度高、发音可懂度强支持人声、歌词使用多种方言·方言演唱能力能根据文本或音频输入生成音乐·支持自动辑和乐谱生成腾讯琴乐大模型·支持音频文本对齐·遵循乐理生成能力支持乐谱/音频表征提取·零样本人声克隆能力·支持一键分享至社交平台抖音豆包旋律歌词局部改写能力支持多种情绪状态·预设多种情绪状态支持旋律仿写网易网易天音一站式AI音乐创作平台支持用户自主调整乐器、编曲■功能免费使用支持音轨上传和段落结构设置 以目前非常主流的AI音乐创作平台SunoAI为例,我们主要可以通过歌词、风格化标签、元标签三个模块对我们的音乐风格进行外部控制,而实际生成的过程依然是个黑盒状态,有着很高的随机性与不确定性。但他们三者的重要性总体而言是歌词>风格化标签>元标签1.歌词:歌词这一部分建议有一些人工参与,歌词lnstru最重要的是要保证主歌和副歌在段落结构上的区别,Styleof MusicExcludeStyies以及整体律动上的一致性Enter style of music2.风格化标签:风格化标签可以在平常整理一些音乐风格以及自己听音乐时的感受,当然也可以询问AI,让它批量列举风格化参数。0/200future housemelodic n3.元标签:元标签的使用手法可以查询一些爱好者Write withSun根据自己创作内容整理的标签文档,学习在[】内使用打断、器乐效果、Rap转换、前奏尾奏等等一系列操作手法。 墓于人、事、时、地、物的歌词创作法我走在鼓楼下面我走在鼓楼下面人路在堵着淋湿的咖啡馆雨后的阳光洒落睡不着的后海边重人们都出来了月亮还在抽着烟执着的迷惆的喝醉的亲吻着时文艺青年很多快活的人不眠如果我无聊了就会来这里坐坐唯有我倚着围栏地我是个沉默不语的靠着墙壁对过往说晚安晒太阳的过客晚安物如果我有些倦意了我是个沉默不语的靠着车窗就让我在这里独自醒过想念你的乘客我站在鼓楼上面当107路再次经过一切繁华与我无关时间是带走青春的电车这是个拥挤的地方我站在什刹海边而我却很平凡一切甜蜜与我无关这是个拥挤的地方而我却很孤单我在鼓楼@ A1湾乐生产工作流:零知识启动,高知识生产元创意:人/AI-->100%作词:人-->20%,AI-->80%作曲:人-->10%,Al-->90%编曲:Al-->100% 先培辨普乐欣赏能力,然后创作拔高旋律律动故事优美动听的旋律会好的律动是相同而对于东亚听众在我们脑海中形成旋律能拉开差距的音乐审美来说耳虫效应,这是我的关键,也是听歌曲所具备的故们在仅仅只听一两音乐过程当中事内核尤其重要,次就能记住一首传“爽感”的来源,一首歌要满足世名曲的根本条件,这些年来,欧美“人、事、时、甚至于近两年的抖音乐向着轻旋律地、物”的条件。音神曲只需要十秒重律动的方向发主歌叙事,副歌钟或两句歌词就能展,也使得嘻哈抒情,每个人都达到洗脑的效果。文化成为主流。是在听别人的歌,感受自己的故事,而通过大模型产出的A音乐,要想成为一首合格的歌曲,就是通过优秀的旋律的构建形成有记忆点的听感效果,在律动上做出创新的形式,在收听时有较好与相对统一节奏(SunoAI4.0就是重点加强了律动、DeepSeek加强了歌词),最后,将原本的听别人的歌,感受自己的故事,扭转为听自己的歌,感受自己的故事。使得人人都可以零门槛成为“音乐创作人” A乐泄未来发展的开脑洞联想:创作的“民主化”与个性化风格的多样化与极端化1.人人皆可创作:“非专业”创1.风格融合:AI可以轻松融合作者,他们的音乐表达可能更加直观和多元不同文化背景或流派的音乐元2.个性化旋律:AI可以根据用户素,催生出大量“跨界”旋律。的心情、爱好或特定场景生成个2.风格极端化:可能会催生出性化的音乐更多具有实验性的音乐流派,传统音乐教育与职业音乐家的音乐与语言的融合角色变化A/可以让音乐变成一种新的音乐教育的转型:如果AI能生语言,通过旋律和节奏直接成高质量旋律,音乐教育可能传递信息。未来的社交媒体从“创作技能”转向“音乐美或通讯工具可能以音乐为载学”和“创意指导”,培养学体,用户发送的“语音消息“生如何与AI协作。是由AI生成的旋律。 市场的“超饱和”与新筛选机制1.内容爆炸:AI生成音乐的速度和数量可能导致音乐市场的“超饱和”,使得听众面临选择困难2.新筛选机制:AI对AI生成的音乐进行二次筛选或成为可能性。 谢谢大家!@新媒沈阳团队刘东江2025年2月 AI音乐的理论与实践上海音乐学院薛蕙心2025年2月 基于Transformer的中国风格冥想音乐AI生成研究 随着大型语言模型(LLM)技术的不断发展,人工智能可以将文本与多种形式的生成相链接,例如生成文章、图像,以及音乐。对于非音乐专业的普通用户来说,输入几个词的文字描述便能生成与之相符的音乐是简单而神奇的体验,文本生成音乐(text-to-music)的AI平台让更多人能够一定程度上体验到音乐创作的快乐,同时也为特定场景和需求的音乐创作带来便利。“寞想音乐”随着社会压力的增大而得到越采越多的关注与应用。在寞想音乐中,选择将音乐范围划定为中国调式的依据是中医里的“五音疗法,即五行音乐疗法(Five-elementsMusictherapy,FEMT)。五音指中国五声调式中角、微、宫、商、羽五种不同的音阶,五音配属五脏分别与肝、心、脾、肺、肾相对应。情志,是机体对外界环境刺激的不同情绪反应。五音可调节情志。中国调式音乐对于调节情绪和促进健康具有一定的作用。中国调式需要中国民族乐器来演奏,以达到风格与音色的融合统一,本实验输入数据包含古琴、琵琶、古筝、萧、竹笛等中国民族乐器,其中古琴音乐的数量最多古琴音乐产生的音波属于α波段,这一波段可以使人平静,继而精神充沛。波还可以引起人脑波共振干扰的反应,激发人体的潜能,从而达到疗愈的作用。“中国风格音乐”与中医的链接使之成为“实想音乐”中不可缺少的音乐类型,“中国风格实想音乐”受众十分广泛。笔者意图利用AI技术,根据用户的描述来生成此类音乐,以满足大众的需求。 2、Al音乐生成平台MusicGenMusicGen是Meta(前身为Facebook)开发并于2023年6月发布的音乐生成模型它能够根据文本描述生成与之相符的音乐,并开源用于非商业用途。经笔者试用比较它的生成效果相比同类型的其他平台更为出色,音乐内容与文本描述基本相符,且输出的音频质量清晰,音乐较为通顺连贯。与大多数文本生成音乐的AI模型一样,其基本工作原理是通过分析大量音乐-文本对数据集(music-textpairs),学习和理解其中的特征和规律,优化模型并实现输出。 1、“中国风格冥想音乐”音乐-文本对数据集 1、指标评价中国风格非中国风格 2、真人评价模型训练完成后,笔者选择了13组中国风格寞想音乐描述词,每一组均使用训练前和训练后的模型分别生成10段30秒长度的音乐,聆听感受如下1、音乐风格统一性有一定程度的提升2、生成音乐的旋律性和可听性有所提升3、根据文本描述生成相应乐器的准确度有所提升4、训练后输出的音频文件之间音量变得更为统一而合理。cbinese music, chinesefolk music, peaceful, Guqin 【融合视界】-2024中国青年作曲家电子音乐新作品音乐会Fusion of Horizons: ElectroacousticMusic CompbyYoung Chinese Composers09.2620:30:2:00浙江都乐学院·音乐厅 《连痕一为竹笛、电子音乐与AI音乐生成模型而作》作品意图描绘连漪、雨滴、浙沥、水幕雨痕等有关水的各种意象,将竹笛的声音形态与电子音乐的音响化语言相融合。作曲者尝试性地将自己训练的“中国风格实想音乐”AI生成模型融入创作中,作品中竹笛演的部分音高材料由模型输出得来,部分预制音频为模型的输出数据。 杭州国际电子音乐节MUSICACUSTICA-HANGZHOU224 歌词旋律编曲人声 写一首歌词,描绘杭州西湖美景,带有诗词元素文本由al生成,不能量冠真实;禁止利用本功能从事违法活动。巨天工AI写作助手智能生成、文案创作完成全网接索副歌:刷歌:西湖啊西湖人间的明珠西湖啊西湖人间的明珠你的美如诗把时光留住你的美如诗把时光留住我愿化作一缕清风我愿化作一缕清风长伴你温柔的湖长伴你温柔的湖沉醇在这水墨画图沉醉在这水星画图西湖啊西湖心中的归宿西湖啊西湖心中的归宿你的韵如梦让思念停驻你的韵如梦让思念停驻我要将这誉恋倾诉我要将这誉恋倾诉谱成永恒的音符谱成永恒的音符守着你朝朝蓉蓉守着你朝朗蓉蓉主歌3:结尾:山密翠环绕着湖滨任岁月流转记忆不落幕湖水悠悠流消着情深西湖的美在心底永驻“欲把西湖比西子“的神韵淡妆浓抹都是爱的真花港观鱼灵动的缤纷鱼儿感戏态满心欢欣曲院风荷送来香阵阵仿佛走进了桃源之境 天工AI梦栖西湖主歌1:轻舟划破那湖面如镜柳丝垂落似岁月的情“最爱湖东行不足“的心境在这西子湖畔慢慢苏程断桥边故事悄然聆听残雪映着往昔的憧爆雷峰夕照藏多少曾经山水间晕开千年的梦境主歌2:荷叶田田撑起绿罗裙荷花点点恰似画中人接天莲叶无穷碧“的缤纷醉了眼胖乱了心魂三潭印月倒映着星辰月光酒落宽如银霜痕苏堤春晓唤醒了清晨每一步都踏在诗意时分 《西湖梦影》(第一段)断桥残雪映晨曦,雷峰塔影入梦迟,柳浪闻莺春意闹,苏堤春晓画中诗。(副歌)西湖水,碧波漾千年传说在荡漾。诗词里,寻竟你,美景如画入心底。(第二段)花港观鱼乐未夹曲院风荷送晚香。三潭印月夜未夹,平湖秋月思故乡。(副歌)西湖水,碧波漾,千年传说在荡漾。诗词里,寻你,美景如画入心底。 (桥段)白堤漫步忆往昔孤山不孤伴云栖,六和听涛心自远,双峰插云梦依稀,(副歌)西湖水,碧波漾,千年传说在荡漾。诗词里,寻觅你,美景如画入心底,(尾声)西湖梦,影依稀,诗词歌赋永相随此生愿,常相伴,西湖美景永流连, (西湖梦影)(第段)新桥残雪映晨暖雷峰增影入梦迟,柳浪蓝春意润苏堤有晓国中诗。(R款)西湖水,碧波源千年传说在落漂。诗调里,寻见你,美累如入心底(第二段)花港观鱼乐末央给DeepSeek发送消息88 度思专 (R1) 高然可以!要然我无激直接为导满美或生成高预,但我可以为存要供一整诺费的建改和思器,限给将这首数调持化为整律,以下是一些建议:1.典风选择,这首股界充满了古典急增和诗急,适用中国风盛多世记自乐(NewAe)“的风指来诺盘,可以加入古事,备子、二期等得供乐器,营出西范的古典的联。,也可以营试用明琴限声他作为主乐器,低配经需的照乐,实也款测的再说票2.结格安排,第一度:用经要的旋津引入,净最光一样蛋摄思开,可以用美单的解早或古等音等,配合款识的意增。,副旅:旋律可以的微上场,加入生乐或第子,突出源水幕票“的图恶意,让情给更加能满,第二股:奖律可以用供经快一签,净损费男的票觉,加入一是期研的高等,最现看天的生机,格段:用、舒增的能律,您黄香的的声一样您选,营进出国忆来以思的款围,,尾高:资课逐图旧平荐,净源本一样温量增结案,可以用长鲁成常的方式改尾3.旋律设计,主显律:可以用五声育阶(富、高,角。常,男)家创件,奥出中国风的等色,,节要:整体节要可以能再自由,净调水的没动一样自能流别,款带分可以移微拍快,增0需惠的%力,,和声;在影急和摄段加入和声,让意乐需大更丰富。比总用女声或男声的提声和意。常如诉说思,4.情愿表达·第一段:轻量、安游,学清最的西期,带看一丝障