行业研究公司研究宏观策略财报招股书会议纪要中央经济工作会议低空经济 DeepSeek AIGC 大模型

2025多模态大模型和应用发展趋势及商业化进程分析报告

信息技术2025-07-09华泰研究七***

AI智能总结

多模态是大语言模型发展的必然趋势

多模态大型语言模型（MLLM）是大语言模型（LLM）和大型视觉模型（LVM）融合的结果，能够接收、推理和输出多模态信息，实现基于图片编写网站、理解图像、光学字符识别（OCR）等能力。

架构对比：原生MLLM具有更好的统一性和效率优势

模块化MLLM：采用拼接的“pipeline”形式，视觉编码和语言解码分开处理，依赖预训练单模态模型和额外对齐层，训练简单，但效率低于原生MLLM。
原生MLLM：不依赖预训练大语言模型或视觉编码器，直接在全部模态数据上从头开始同步训练，端到端性和统一性强，效率更高，但训练成本和难度更大。

非原生MLLM：通过Pipeline形式连接多模态与LLM

典型架构包括编码器、连接器和LLM，以及其他模块（如生成器）。
编码器：接收图像、音频或视频，并输出相应的模态特征。
连接器：接收编码器提取的特征并处理，帮助LLM更好地理解这些特征。
LLM：用来生成文本信息。
优化方向：提高编码器分辨率，提升LLM推理能力，连接器非基础模型厂商实现MLLM的便捷手段。

原生MLLM：端到端实现多模态，头部厂商的首选架构

头部厂商如OpenAI和Google采用原生MLLM架构，展现出指令跟随好、时延短、一致性强的优势。
国内头部厂商如阿里巴巴、字节跳动、腾讯等也开始尝试原生多模态架构。
预计国内原生多模态模型将在2025年下半年逐渐发力，并在明年成为头部厂商的主流路径。

从大模型到多模态：商业化的必由之路

海外商业化更超前，国内出海进展迅速：全球维度，年化收入超过1亿美金的产品绝大多数为海外+多模态+初创公司，头部效应显著。
国内维度，年化收入靠前的产品主要为多模态+上市公司，且出海比例高：美图、快手、睿琪软件的AI产品均为多模态产品，且多为出海。
多模态产品持续迭代，可用性和商业化均向好：图像生成从高质量到易用性，视频生成国内厂商多模态发力，其他多模态交互AI产品快速崛起。

图像生成：从高质量到易用性，各玩家寻求差异化卖点

产品经历了从“追求更高逼真度”到“提升易用性与整合度”的路线。
各家产品都在寻求差异化卖点，如Ideogram针对AI绘图文字难题，Leonardo.ai深耕游戏美术领域，Krea主打多模态实时编辑。
跨模态融合成为趋势，如图像平台支持视频生成，视频平台增加多语言声音输出，大平台融合多模型能力。

视频生成：国内厂商多模态发力的主要赛道

Sora发布之前，主要的视频生成产品是海外Runway Gen系列和Pika系列，以及国内爱诗科技Pixverse系列。
国内厂商在视频生成赛道加速布局，如MiniMax、智谱、字节跳动、快手等。
视频生成各平台竞相突破时长、清晰度和一致性瓶颈，各有特色。
商业模式上，大多数产品采用免费+订阅的Freemium策略，并开始布局企业服务和API接口。

其他多模态交互AI产品

语音：ElevenLabs主攻高品质语音合成和克隆。
音乐：Suno让普通用户能够生成带人声演唱的完整歌曲。
3D：Meshy、Luma AI Genie等专注于AI生成3D内容。
数字人：Synthesia、HeyGen等定位企业培训、营销的视频生成。

思考：国内大模型的瓶颈，以及国内商业化的难点

国内大模型瓶颈：
- 高性能算力受限，单集群大小受限。
- 国内高价值用户数据或较少。
- 全球头部模型愈发闭源，国内资源受限大多跟随。
国内商业化难点：
- 模型仍有差距，相比海外头部仍有差距。
- 用户付费习惯一般。
国内商业化突破点：
- 多模态应用先行，实现单点到多点扩张。
- 互联网厂商依托自身场景和资源获得先发优势。
- 快手可灵单点获得成功，后续更多类似的国内多模态应用有望带来持续的商业化多点扩张。

正文目录和市场不同的观点.........................................................................................................................................................4 多模态是大语言模型发展的必然趋势...........................................................................................................................5非原生MLLM：通过Pipeline形式连接多模态与LLM..........................................................................................6原生MLLM：端到端实现多模态，头部厂商的首选架构.....................................................................................10从大模型到多模态：商业化的必由之路......................................................................................................................13海外商业化更超前，国内出海进展迅速..............................................................................................................13二级公司：国内外2C/2B公司差距并不显著......................................................................................................17多模态产品持续迭代，可用性和商业化均向好....................................................................................................18图像生成：从高质量到易用性，各玩家寻求差异化卖点.............................................................................18视频生成：国内厂商多模态发力的主要赛道...............................................................................................20其他多模态交互AI产品..............................................................................................................................27思考：国内大模型的瓶颈，以及国内商业化的难点............................................................................................29国内大模型瓶颈：核心依然是算力受限，从而导致技术路线创新缓慢........................................................29国内商业化难点：模型仍有差距，且用户付费习惯一般.............................................................................30国内商业化突破点：多模态应用先行，实现单点到多点扩张......................................................................31 图表目录图表1：代表性多模态大语言模型的时间线................................................................................................................5图表2：模块化vs原生：典型架构对比.....................................................................................................................6图表3：模块化vs原生：原生MLLM具有更好的统一性和效率优势.........................................................................6图表4：非原生MLLM架构详细示意图......................................................................................................................7图表5：主流多模态大语言模型主体结构...................................................................................................................8图表6：LLM的性能一直在提高.................................................................................................................................9图表7：MLLM的训练阶段及数据来源.....................................................................................................................10图表8：MLLM幻觉的缓解方法................................................................................................................................10图表9：头部模型厂商的原生多模态模型和特点.......................................................................................................11图表10：Google Gemini系列模型原生多模态架构.................................................................................................11图表11：头部模型厂商的原生多模态模型主要提升点..............................................................................................11图表12：GPT-4o原生多模态可以通过自然的对话来优化图像................................................................................12图表13：Gemini能够交错输出一道菜谱的文本和图像............................................................................................12图表14：典型原生AI应用的年度经常性收入（ARR）情况....................................................................................13图表15：全球Top 26 AI产品的年化收入情况（年化收入≥1亿美金）....................................................................14图表16：国内Top 31 AI产品的年化收入情况（年化收入>1000万美金）..............................................................15图表17：Top 100全球AI公司年化收入分布情况...................................................................................................15图表18：Top 100国内AI公司年化收入分布情况...................................................................................................15 图表19：AI应用Top 30 Web访问量和App MAU..................................................................................................16图表20：国内外2C公司的AI收入贡献度测算.......................................................................................................17图表21：国内外2B公司的AI收入贡献度测算.......................................................................................................18图表22：主流图像生成产品比较..............................................................................................................................19图表23：DiT的技术本质：将LDM中的U-Net替换成Transformer模块...............................................................20图表24：文生视频模型/产品排行榜：国内公司领先................................................................................................21图表25：图生视频模型/产品排行榜：国内公司领先................................................................................................21图表26：主流视频生成产品比较.........................

点击免费查看完整报告