智能音乐生成理解 反馈 融合

张克俊 张克俊 浙江大学计算机科学与技术学院 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 智能音乐生成：理解·反馈·融合 张克俊 张克俊 浙江大学计算机科学与技术学院 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 A创作的国乐音乐会 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 A创作的国乐音乐会 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 I猜一猜哪首是A/生成的贝多芬交响曲？ 下面四首交响曲中有三首是原版的贝多芬交响曲，有一首是AI生成的贝多芬《第十交响曲》，猜一猜哪一首是A/生成的？ 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大学DeepSeek系列专题线上公开课（第二季）|第五期 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 「人工智能：数据、算法和算力 算法 数据 算力 deepseek 探索未至之境 张克俊 新算法创新 大数据建设 大算力突破 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 2025年数据规模将到达201.6ZB数据服务由简单场景向个性化复杂场景定制。 大语言模型推动技术、轻量化深度学习技术、知识计算、人工智能与科学研究融合等。 训练芯片创新加速，推断芯片朝着专用定制化发展，类脑芯片、存内计算、量子计算等依旧是重点探索方向。 一、背景 IA/音乐生成具有极大理论及应用研究价值 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 IA/音乐生成发展历程 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 先验规则学习式（被动）：会考 经验数据驱动式（主动）：会学 音乐创作核心流程 配器：乐器编配选择、位置、声部编曲：和声、节奏、旋律、人声、环境、段落 录制：联络真乐器演员、专业录音棚制作监棚：相互交流、把握演奏风格 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 对象：母带工程师要求：技术标准、经验需求 母带：频率、动态、抖动、响度出片：压制产生文件 作曲流程长，工种参与类型多，设备要求专业，驱需利用AI技术协助简化作曲 、背景 IA/音乐三大模块工作 输出评估算法模型数据表征 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 【音乐的数据表示 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 音乐的数据表示 图像流派作曲表征 数据表示矩阵（二进制）： 张克俊 行：时间 列：音高线长：音符持续时间（noteduration） 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 音乐的数据表示 自然语言流派作曲表征 张克俊 AMIDlexcerpt(413differentevents)128 NOTE-ON events:开始;128NOTE-OFFevents:结束125TIME-SHIFTevents:时间步长 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 SET-VELOCITY<31>TIMEE-SHIFT<640mS>NOTE-OFFSET-VELOCITY<25> 浙江大学DeepSeek系列专题线上公开课（第二季）|第五期 一、背景 【A/音乐生成的数据表示 张克俊 02/AudioRepresentation 03/SymbolicRepresentationMIDI、Piano-roll、MIDI-like 01/MusicSheetRepresentation 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 丨音乐生成技术路线 智能后期润色及音效优化引擎 ·后期润色、乐器搭配、音效引擎 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 【A/音乐生成评估 HumanEvaluationcomments、preference,turingHuman Evaluation 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 I国内外音乐生成工具：音乐生成效率100倍+（传统作曲需数月，A/仅需几分钟） 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 I国内外音乐生成工具：音乐生成效率100倍+（传统作曲需数月，A/仅需几分钟） 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 I国内外音乐生成工具：音乐生成效率100倍+（传统作曲需数月，A/仅需几分钟） 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 I悟韵（WuYun）一一Al交互式智能作曲系统：https//www.next.zju.edu.cn/wuyun 多轨音乐编辑和播放 AI音乐创作、编辑和润色 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 悟韵（WuYun）一一Al交互式智能作曲系统：https://www.next.zju.edu.cn/wuyun AI音乐创作、编辑和润色 多轨音乐编辑和播放 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 一、背景 I悟韵（WuYun）一一Al交互式智能作曲系统：https://www.next.zju.edu.cn/wuyun AI音乐创作、编辑和润色 多轨音乐编辑和播放 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 、背景 口语描述到音乐全链路生成 Demo 描述输入： 请为我创作一首中文歌曲，主题为夜晚，情感为宁静和沉思，营造一种在夜色中沉静思考的氛围。 旋律生成结果： 歌曲生成结果： 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 、背景 口语描述到音乐全链路生成 Demo 描述输入： 请为我创作一首中文歌曲，主题为夜晚，情感为宁静和沉思，营造一种在夜色中沉静思考的氛围。 旋律生成结果： 歌曲生成结果： 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大学DeepSeek系列专题线上公开课（第二季）|第五期 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 二、A/音乐的三种方式 I情感共鸣的音乐内容需求，实现音乐共创的愿景 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 二、A/音乐的三种方式 【情感共鸣的音乐内容需求，实现音乐共创的愿景 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 2.1理解 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 2.1理解 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 2.1理解 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 2.1理解 ReLyMe：词曲中的音调、节奏及结构关系共同促进歌词与旋律的和谐 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 ReLyMe：融入词曲创作知识的歌词-旋律生成系统 ReLyMe在解码生成过程的概率基础上引入词曲知识约束作用于最终生成旋律。 ①对音调、节奏及结构分别建模并计算词曲约束Rcons。②ReLyMe可应用于SongMASS、Telemelody等词曲创作系统。 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 ReLyMe：音调、节奏及结构知识的消融证明了三者的相互制衡关系，ReLyMe达到了平衡点 音调、节奏、结构关系消融实验： ①音调、节奏与结构相互制约，同时引入三种知识的难以在各项指标均达到最优。 ②ReLyMe实现音调、节奏与结构平衡，其生成旋律具有最佳听感。 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大学DeepSeek系列专题线上公开课（第二季）1第五期 自然的古典歌曲创作：一字一音 体验弦歌演奏 体验弦歌创作 “弦，谓琴瑟也。歌，依咏诗也。三百五篇，孔子皆弦歌之。 统一“弹”与“唱”，降低难度展示“腔词”关系，理解文化 表达个性化艺术理解实践“腔词”规律，学习文化 文本：缺月挂疏桐，漏断人初静。谁见幽人独往来，缥缈孤鸿影。惊起却回头，有恨无人省。栋尽寒枝不肯栖，寂寞沙洲冷。 音乐库 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 「用户作品与演奏过程 Melody created by users using Poem QinLyricswrittenbyLiBai（TangDynasty）渡荆门送别Translatedbyadamlam 渡远荆门外，来从楚国游。By boat,I arrive at the distant outskirt of JingmenI come to this ancient State of Chu for sightseeing. 山随平野尽，江入大荒流。Mountains rise from the plain and then disappear.Riversflowandcutacrossanimmensewilderness. 张克俊 月下飞天镜，云生结海楼。Moon reflection on river is like mirrorfrom heaven.Clouds conjure up images of swimming castles in air. 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 社区/校园文艺体验装置 博物馆文化互动区 作为可交互的景观装置，展示体现社区/校园风貌的音乐，通过触摸演奏，传播社群共识与集体文化 通过音乐演奏界面，让参观者体验“历史文人”的心路历程，实现“以琴会友”的跨时空对谈 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 浙江大学DeepSeek系列专题线上公开课（第二季）|第五期 音色不同器乐演奏所出的效果 鼓点以架子鼓为基础的鼓点组合 音轨丰富度包括低音，弦乐，和弦等其他音轨的信息 张克俊 主旋律人耳能主要听到的旋律 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 色彩旋律三角铁，木琴等打击乐 浙江大学DeepSeek系列专题线上公开课（第二季）|第五期 渐变Gradation 和谐Harmony 均衡Balance 动态Movement 张克俊 浙江大学计算机科学与技术学院工业设计系系主任、国际设计研究院副院长 多样性Variety