AI+专题系列点评（十二）：AdobePremierePro引入主流视频大模型，视频编辑能力有望大幅提升

事项： 4月16日，Adobe宣布旗下的剪辑软件Premiere Pro即将引入全新的视频编辑功能。其中包含为第三方AI视频生成模型添加插件，不论是OpenAI的Sora还是Runway的Gen-2和Pika，很快都将出现在Adobe工具体系中，用户可以自由选择最适合他们素材的模型。 评论： Adobe已拥有大模型Firefly，入局生成式AI。Firefly模型更新后，新增了多种AI功能辅助图片处理，在创作逼真人类图像方面表现出色。Image 2模型提供AI编辑功能，如景深、动态模糊和视野调整，还有“提示指导”提升文本描述效率。Adobe还推出“生成匹配”功能，可复制特定图像风格。Adobe Premiere Pro已通过AI辅助实现六大视频剪辑功能，包括基于文本编辑、AI音频分类标注、语音转文本、语音增强、场景编辑检测和颜色校正。这些功能帮助用户更精准、快捷、高效地完成剪辑工作，提升了视频制作的效率和质量。 Adobe将引入Sora，Runway和Pika，加码生成式AI。Adobe宣布为Premiere Pro视频编辑平台开发生成式AI视频模型，集成OpenAI的Sora和Runway ML的Gen-2及Pika 1.0技术。新模型将带来三大革新功能：生成式扩展允许用户通过AI工具延长视频片段，添加过渡效果，并拓展音频；对象添加和删除功能使编辑人员能轻松替换或删除镜头中的对象，丰富视频内容；生成式辅助镜头则通过简单文本提示生成，提升视频理解度和掩盖素材瑕疵。这些功能将极大提升视频编辑效率和质量，预示着视频编辑领域的重大变革。 投资建议：坚定看好今年多模态大模型的投资机遇，预计今年海内外大模型厂商都将持续蓄力，加速多模态大模型的发展及应用。重点推荐国内多模态核心标的万兴科技，建议关注昆仑万维、虹软科技、当虹科技、国投智能等。同时，AI大模型本质应落脚垂类应用，看好AI+应用产品力与商业化落地进程。建议持续关注AI+应用侧：1）办公：金山办公、福昕软件；2）法律：金桥信息、华宇软件、通达海；3）医疗：润达医疗；4）教育：佳发教育、欧玛软件、新开普；5）金融：同花顺、新致软件；6）邮箱：彩讯股份；7）传媒：掌阅科技、华策影视；8）电商：焦点科技。算力侧：1）算力基础：润泽科技、亚康股份、海光信息、寒武纪、龙芯中科；2）服务器：中科曙光、浪潮信息、紫光股份、高新发展、神州数码、拓维信息。 风险提示：商业化后表现不及预期，用户付费意愿低，行业技术迭代速度较快。 一、Adobe已拥有大模型Firefly，入局生成式AI Firefly模型经过多轮次更新已具备多种AI功能，用以辅助图片处理。其中，Firefly Image 2 model能很好的实现通过文字创作图像的功能，特别是在渲染逼真的人类时，与前代产品相比，在树叶、皮肤纹理、头发、手和面部特征等高频细节方面，使用Firefly Image 2模型生成的图像具有更高的分辨率，具有更生动的色彩和色彩对比度。Image 2模型还引入了新的AI编辑功能，以帮助用户定制他们的结果。照片设置可以应用于手动或自动调整景深、动态模糊和生成图像的视野，就像手动相机控制一样。此外，还增加了“提示指导”功能，以帮助用户改进文本描述的措辞，并自动完成提示以提高效率。除此之外，Adobe还引入了一个新的“生成匹配”功能，该功能可以影响生成内容的样式以匹配特定图像。 用户可以从预先选择的图片列表中进行选择，也可以上传自己的参考图片来复制这种风格，通过滑块控制相似度。 图表1 Firely模型现有功能简介 AdobePremiere Pro已经可以通过AI辅助完成六大视频剪辑功能。分别是：第一，基于文本编辑粗略剪辑。这一功能使得用户可以通过批量删除视频中所有尴尬的停顿，并使用填充词检测功能去除不需要的填充词。第二，AI音频分类标注。AI会自动识别剪辑片段是音乐、对话、音效还是氛围，并添加一个互动徽章。只需点击徽章，即可立即访问该音频类型最相关的工具。第三，语音转文本。该功能会方便用户为视频创建字幕。第四，语音增强。通过消除背景噪音，提高视频中的对话质量，可以使对话听起来好像是在专业工作室录制的。第五，场景编辑检测，当用户需要为一个较长的视频创建一个新的编辑时，Premiere Pro将自裁剪场景。第六，颜色校正。借助AI工具，可以比以往更快地进行曝光、对比度和白平衡等基本校正。这些功能将方便用户更精准、快捷、高效的完成剪辑工作。 图表2 Adobe Premiere Pro现有AI功能简介 二、Adobe将引入Sora，Runway和Pika，加码生成式AI 2024年4月16日，Adobe宣布正在为其Firefly系列开发一种生成式AI视频模型，该模型将为Premiere Pro视频编辑平台带来新的工具。这些工具包括OpenAI的Sora和竞争对手Runway ML的Gen-2和Pika 1.0。通过此次更新，将允许Premiere Pro用户通过文本提示生成视频，添加或删除对象（就像Photoshop的生成填充功能），并延长视频片段的长度。这预示着视频编辑领域的一次重大变革。此次更新将带来的新功能主要有以下三个： 第一，生成式扩展。若剪辑视频时需要更多画面，可以通过AI工具对视频进行扩展，通过生成全新帧来延长镜头，让剪辑更完美。用户只需简单点击并拖动，即可延长剪辑长度，添加过渡效果，自由掌控视频时长。还可以拓展音频的“静音”部分，生成自然的环境音，让音频编辑更流畅。还可以使用微调编辑，保留镜头的额外节拍，或添加几帧来过渡。给用户的感觉是一切尽在指尖，点击拖动，即可打造完美编辑。 图表3生成式扩展功能演示 第二，对象添加和对象删除。这一功能为视频编辑器提供了前所未有的强大能力。编辑人员可以轻松替换镜头中的移动对象，删除诸如吊杆麦克风、散落的咖啡杯等不必要的物品，或快速添加如绘画、逼真的花瓶等布景元素。在视频剪辑完成后，利用人工智能生成的元素可以无缝地融入素材中，极大地丰富了视频的内容和视觉效果。通过简单的文本提示，用户便能轻松更改镜头的背景景观或替换道具，例如将背景中的场景替换为城市或山脉的风景，或将垃圾桶等对象转换为邮箱。此外，借助智能掩蔽和跟踪工具，用户可以轻松从剪辑中删除不需要的对象，从而加快视频特效（VFX）工作的进程，这使得删除可能引起品牌问题的标志、车牌等变得轻而易举。 图表4对象删除功能演示 第三，生成式辅助镜头。在视频编辑中，辅助镜头可以选择性地穿插或覆盖在主视频片段上，起到补充说明的作用，让观众更好地理解视频内容。同时，辅助镜头也可以掩盖素材本身的一些错误或画面瑕疵。通过AI工具可以使用户花更少的时间在库存素材中寻找辅助镜头，而仅仅使用简单的文本提示来生成。