2024汽车AI大模型TOP10分析报告

从海量数据中自动学习知识 ØBig-data Driven，模型基于大规模语料训练而成；ØMulti-tasksAdaptive，支持多种任务，包括自然语言生成NLG和自然语言理解NLU类的任务；ØFew-shot(Zero-shot)，在少甚至无标注样本的条件下支持推理（自监督学习）。 AI大模型就是预训练语言模型通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型 Ø2017年，Google提出Transformer框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。Ø2018年Google和OpenAI基于Transformer提出了预训练语言模型BERT和GPT，显著提高了NLP任务的性能，并展示出广泛的通用性。 众多预训练模型相继涌现，OpenAI以GPT2、GPT-3、ChatGPT等系列模型为代表，持续引领大模型时代的浪潮 大模型参数规模不断增长，推动AIGC技术升级。AIGC技术发展的背后是大模型（Foundation Models）技术的持续迭代。从2017年Transformer结构的提出，加速了深度学习模型的参数学习能力。另一方面，GPU算力也在指数级增长。 英伟达每2年推出一个微架构，对产品线进行升级，6月2日，英伟达在Computex 2024大会上发布了至2027年的芯片路线图，GPU迭代周期由2年缩短到1年，走类似英特尔的Tick-Tock模式（一年工艺一年架构）。同时，英伟达践行“Buy More Save More”让算力成本指数级下降。 Ø我国高端GPU芯片进口从2019年以来就一直有被限制，只是之前主要针对的厂商是AMD，在应用场景上又以超算中心为主； Ø2023年10月17日，美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准，将单芯片超过300teraflops算力，以及性能密度超过每平方毫米370 gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。 综合各测评平台的方法论来看，在基础能力的测评维度基本相同，仅测评数据集和评估权重占比不同；而在基础能力之外，各测评平台侧重点不同 IDC测试题目分为基础能力和应用能力两个大类共7个维度 IDC采取实测的方式，成立产品测试团队，通过多个维度对基础大模型及相关产品进行评测，并邀请外部专家团队深入分析各个产品答案准确性、合理性等，在审核委员会的监督下，最终得出各厂商的评估结果，供用户选型参考。 我们跟踪研究了多个通用大模型，其中包括： 在2024年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准化 䪫勘盛 ☋╃盛 国产AI芯片自主研发 模型整合统一 未来的技术演进方向是实现大模型底层框架的整合与标准化，从多样的架构（如双编码器、单边解码等）转向统⼀的、效率最优化的开源底层框架，提升模型的通⽤性和可维护性。 为确保中国大模型的长远发展和避免外部制裁风险，国内AI计算芯片的自主研发将成为关键战略方向。 数据产权标准深化 参数规模扩展 优化和完善现有数据标准和规范，是推动大模型“燃料”质量提升和数量增长的重要驱动力，在2024年将作为产业发展的首要任务。 为确保模型质量和性能，未来的大模型将采⽤更深层的⽹络结构和更庞⼤的数据集进⾏预训练，尤其在数据量和参数量上将迎来显著跃升。 多模态融合 “套壳”微调策略 为满足产业实际需求并适应中小企业的发展特点，“套壳”微调（即在现有大模型基础上进⾏针对性调整）将成为除行业巨头外企业的主要发展策略。 大模型将逐渐融入图⽚、⾳频、视频等多种模态信息，实现跨模态的交互与理解，从⽽拓宽其应⽤场景和实⽤价值。 人工智能伦理责任 大模型小模型化 随着大模型性能的飞速提升和实⽤性的增强，确保AI技术与社会伦理道德标准相⼀致将成为⼤模型持续发展的关键考量因素。 在产业应⽤层⾯，结合底层基础大模型和针对特定⾏业的精简数据微调，将训练出更为实用、更易于产业落地的小型化大模型。 㝕埛㒘僓♣溸䷧㸸㴼䔾 大模型的知识密度每8个月左右会翻一倍，同等知识量的模型参数量会减半 右图显示了过去四年大语言模型在MMLU榜单（评估大模型知识能力）上的性能表现，红色曲线表明，大模型的知识密度平均每8个月左右会翻一倍，同等知识量的模型其参数量会减半 知识密度=知识量/参数量 긖㚧冝茤 在2 0 2 4年5月 发 布 的 多 模态大 模 型MiniCPM-Llama3-V2.5仅凭8B参数，实现了“以最小参数，撬动最强性能”的最佳平衡点。 面壁智能迭代的最新版本MiniCPM-S 1.2B采用了高度稀疏架构，通过将激活函数替换为ReLU及通过带渐进约束的稀疏感知训练，巧妙地解决了此前主流大模型在稀疏激活上面临的困境。 在通用大模型越来越卷参数规模和算力的情况下，如何通过架构和算法创新去规避算力和成本的短板，我们认为小参数、高性能模型是一个重要的趋势，特别对于手机、车载终端而言，这样的端侧模型具有现实的需求。 砯岻呻厜┪ 文心一言沿袭了ERNIE3.0的海量无监督文本与大规模知识图谱的平行预训练算法，模型结构上使用兼顾语言理解与语言生成的统一预训练框架。为提升模型语言理解与生成能力，研究团队进一步设计了可控和可信学习算法。 駕绿┪ 结合百度飞桨自适应大规模分布式训练技术和“鹏城云脑Ⅱ”领先算力集群，解决了超大模型训练中的多个公认技术难题。在应用上，首创大模型在线蒸馏框架，大幅降低了大模型落地成本 与百度的方案类似，各科技大厂基于云平台、算力基础设施和大模型技术相结合，推动行业应用落地，汽车产业链当然也是最重要的落地场景之一。 对自动驾驶而言，与所有AI应用类似，算力、算法、和数据三要素都必不可少 规模法则驱动下，海量的算力成为开发优秀AI算法的基础 砯ⲇ㺂긖 俚䰕做긖 数据的体量、质量、以及收集方式、处理方式、以及模型的训练和验证体系都考验着开发者的技术和工程能力 如何构建一个性能优异且稳定可靠的算法来支撑功能落地，亦尤为关键 砯岻㺂긖 目前海外特斯拉、Wayve、Comma.ai，国内包括小鹏、理想、华为、蔚来汽车、元戎启行、商汤、地平线等诸多玩家都提出自己的端到端自动驾驶方案，在算法上端到端已经成为大势所趋。 但在发展路径上，行业预计也会经历渐进的过程。早期玩家致力于将算法从模块化架构平稳过渡到端到端，远期大语言模型和端到端基础模型有望结合形成“系统一”和“系统二”共同赋能自动驾驶，最终强大的通用人工智能（AGI）或许可覆盖所有驾驶能力。 AGI通用世界模型 多模态大语言模型 评选原则 •单一场景的技术积累；•广泛的汽车行业客户与量产应用；•可以允许“套壳”与API调用；•单场景技术方向的领先发展潜力； •多场景的覆盖能力与量产应用；•持续的产品迭代能力；•走向通用世界模型的潜力； •四种竞争要素缺一不可；•持续的产品迭代能力；•逐步建立于自研芯片或者国产芯片的算力建设；•汽车行业的合作与量产应用； BAIDU Ø2024年6月28日，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在WAVESUMMIT深度学习开发者大会2024上宣布了文心一言的最新数据，并正式发布文心大模型4.0 Turbo、飞桨框架3.0等最新技术 砯ⲇ㺂 百度自研昆仑芯，同时也与国内外机构合作，搭建算力中心和异构计算平台 厜卐㺂 其飞桨框架已经更新到3.0版本。实现大模型混合并行训练策略、编译器自动优化、大模型多硬件适配和推训一体 䈰⪾㺂 开发飞桨的各类组建 䍎氠㺂 文心一言推出多种功能各有侧重的文心大模型，包括文心轻量级、文心3.5、文心4.0、文心4.0工具版。 其中，文心轻量级模型适合解决确定场景的问题；文心3.5适用于日常信息处理和文本生成任务；文心4.0模型参数更大、具备更强的理解能力、逻辑推理能力与更丰富的知识，提供专业且深入的帮助；文心4.0工具版则基于智能体技术，善于综合运用多种工具和数据，按要求完成非常复杂的任务。最新发布的文心4.0Turbo则是文心4.0的升级版。 IntelNVIDIAArm •CPU:飞腾、海光、鲲鹏、龙芯、申威•操作系统:麒麟、统信、普华•AI芯片:昆仑芯、海光、寒武纪、瑞芯微、算能、高通、Graphcore、Ambarella •与浪潮、中科曙光等服务器厂商合作•形成软硬一体的全栈AI基础设施 与主机厂合作落地 应用于提升百度自动驾驶感知算法 名称：知识增强的汽车行业大模型——吉利-百度·文心 文心大模型在百度感知2.0中发挥了重要作用，主要提升3D感知能力，解决远距离检测和长尾物体识别两大难题。 使用了百度文心ERNIE3.0大模型，在智能客服知识库扩充、车载语音系统短答案生成、汽车领域知识库构建三个任务上进行了微调与验证。该大模型在2300万条吉利汽车专业领域无标注数据上进行模型预训练，并联合双方的人工智能专家和汽车行业专家一起研发。 百度使用半监督、自训练方案对大模型进行训练 Ø先用有标签数据对模型进行初始启动训练，后将模型在无标签数据上进行推理得到伪标签，最后合并有标签数据和伪标签数据对模型进行进一步训练。如此往复。Ø训练完感知大模型后，百度利用知识蒸馏的方法将伪标签用于车载小模型的学习，从而增强车载小模型的远距离感知能力。 HUAWEI 2024┿汕☭䈰冝茤㝕⚷ 华为常务董事、华为云CEO张平安指出，华为正在通过“云网端芯”架构上的协同创新，来构建可持续发展的AI算力基础，包括云基础设施系统架构创新、芯端算力上云、面向AI的网络架构升级三大方面。 华 为云推 出 了全 新的CloudMatrix架 构，以“一切 可 池化”“一切皆对等”“一切可组合”三大创新设计，从算力规模、扩展模式和使用模式上，匹配超大规模的算力诉求，通过技术创新来解决行业难题。 透过CloudMatrix架构创新展现华为云全栈的AI能力，包含盘古大模型、昇腾AI云服务、分布式QingTian架构、AI-NativeStorage和全球存算网等。 2024䌑6劓22傽㐃ⶶ╬䐷⹿脢㝕⚷2024HDC 2024┪ 华为常务董事、华为云CEO张平安正式发布盘古大模型5.0，在全系列、多模态、强思维三个方面全新升级；还分享了盘古大模型在自动驾驶、工业设计、建筑设计、具身智能、媒体生产和应用、高铁、钢铁、气象等领域的丰富创新应用和落地实践，持续深入行业解难题。 盘古大模型5.0能够更好更精准地理解物理世界，包括文本、图片、视频、雷达、红外、遥感等更多模态。在图片和视频识别方面，可支持10K超高分辨率；在内容生成方面，采用业界首创的S TCG（Spa t i oTemp o r a lC ont ro l l abl eGeneration，可控时空生成）技术，聚焦自动驾驶、工业制造、建筑等多个行业场景，可生成更加符合物理规律的多模态内容。 复杂逻辑推理是大模型成为行业助手的关键。盘古大模型5.0将思维链技术与策略搜索深度结合，极大地提升了数学能力、复杂任务规划能力以及工具调用能力。 盘古大模型5.0包含不同参数规格的模型，以适配不同的业务场景。十亿级参数的PanguE系列可支撑手机、PC等端侧的智能应用；百亿级参数的PanguP系列，适用于低时延、高效率的推理场景；千亿级参数的PanguU系列适用于处理复杂任务；万亿级参数的PanguS系列超级大模型能够帮助企业处理更为复杂的跨领域多任务。 䰕ⶶ╬◥EI劚ⲏ☋⿣ꌄꌄꪍ㹐먹ⶶ╬◥ꄽꁩ漽⺜㝕埛㒘鰘茤蔦Ⲙ뎴뎬䐷⹿䌐⺬⺪♨㵄楓┩㺂Ⲏꅌ •该平台基于盘古大模型和ModelArtsAI开发生产线，已经在多个车企和商用车场景中成功运用。 Ø通过数智融合架构打破数据、AI资源管理边界，在一个平台即可完成开发、测试、交付上线工作，让业务创新提效2倍，实现数据加速； 该平台基于盘古大模型和