开源Llama 3.1发布，对端云AI的影响

证券研究报告|2024年07月31日 开源Llama3.1发布：对端云AI的影响 行业研究·行业专题计算机·人工智能 投资评级：优于大市（维持） 证券分析师：熊莉 021-61761067 xiongli1@guosen.com.cnS0980519030002 摘要 •Llama3.1发布，开源大模型王者易主。7月24日报道，美国科技巨头Meta推出迄今为止性能最强大的开源大模型——Llama3.1405B（4050亿参数），同时 发布了全新升级的Llama3.170B和8B模型版本；Meta评估了超150个基准数据集的性能，Llama3.1405B在代码生成和评估、数学推理、长上下文处理、工 具使用和多语言支持等一系列任务中，可与GPT-4o、Claude3.5Sonnet和GeminiUltra相媲美；在其他场景中，Llama3.1405B进行了与人工评估的比较， 其总体表现优于GPT-4o和Claude3.5Sonnet。 •开源引领，加速构建META生态。与闭源模型不同，Llama3.1是公开可用的模型，模型的权重可供下载；Llama3.1开源使得更广泛的开发者及社区可以为其应 用程序定制模型，并在任何环境中运行，包括本地服务器、云端、笔记本电脑、甚至手机等，同时无需将数据分享给Meta。同时，Meta透露，其更新了许可证， 允许开发人员首次使用包括405B参数规模的Llama模型的输出来改进其他模型。 •未来预期：转向MOE结构，落地三种商业模式。MoE（混合专家模型）是一种基于Transformer架构的模型，旨在提高模型的计算效率和性能。其基本思想是 通过多个“专家”网络（子模型）协同工作，根据输入数据的特征动态选择最合适的专家，从而优化计算资源的使用和模型的预测精度。基于Meta的商业模式， 我们认为Llama3.1在未来将有以下商业化落地模式：1）云厂商使用费用：谷歌、亚马逊等下游云服务商提供基于Llama3.1模型的服务，Meta将从中收取部 分费用；2）通过Meta生态间接变现：在Meta开发的Facebook、Instagram等软硬件产品上使用基于Llama3.1模型的AI助手，从而吸引用户在软件内消费； 3）广告服务：基于Llama3.1模型提供广告开发以及精准投放服务，并收取费用。 •风险提示：大模型研发进展不及预期，AI应用落地不及预期，AI算力投入不及预期。 •7月24日报道，美国科技巨头Meta推出迄今为止性能最强大的开源大模型——Llama3.1405B（4050亿参数），同时发布了全新升级的Llama 3.170B和8B模型版本。 •Meta评估了超150个基准数据集的性能，Llama3.1405B在代码生成和评估、数学推理、长上下文处理、工具使用和多语言支持等一系列任务中，可与GPT-4o、Claude3.5Sonnet和GeminiUltra相媲美。 •在其他场景中，Llama3.1405B进行了与人工评估的比较，其总体表现优于GPT-4o和Claude3.5Sonnet。另外，升级后的Llama3.18B和70B模型，相比于同样参数大小的模型性能表现也更好。 •Llama3.1405B支持上下文长度为128KTokens，增加了对八种语言的支持，在基于15万亿个Tokens、超1.6万个H100GPU上进行训练，这也是Meta有史以来第一个以这种规模进行训练的Llama模型。 •与之前的Llama版本相比，Llama3.1提高了用于训练前和训练后的数据数量和质量。这些改进包括为训练前数据开发更仔细的预处理和管理流程、开发更严格的质量保证以及训练后数据的过滤方法。 •截至目前，已经有超过25个企业推出了基于Llama3.1开源版本的新模型。其中，亚马逊AWS、Databricks和英伟达正在推出全套服务，AI芯片创企Groq等为Meta此次发布的所有新模型构建了低延迟、低成本的推理服务，ScaleAI、戴尔等公司已准备好帮助企业采用Llama模型并使用自己的数据训练定制模型。国内方面，阿里云、腾讯云已上架Llama3.1模型，并支持精调和推理。 图1：Llama3.1与主流大模型测试对比 资料来源：Meta官网，国信证券经济研究所整理 图2：Llama3.1405B模型人类评估测试 资料来源：Meta官网，国信证券经济研究所整理 •与闭源模型不同，Llama3.1是公开可用的模型，模型的权重可供下载。Meta在llama.meta.com以及HuggingFace上提供下载途径，开发者可以完全根据他们的需求和应用定制这些模型，能够在新的数据集上进行训练，并进行额外的微调。 •Llama3.1开源使得更广泛的开发者及社区可以为其应用程序定制模型，并在任何环境中运行，包括本地服务器、云端、笔记本电脑、甚至手机等，同时无需将数据分享给Meta。 •同时，Meta透露，其更新了许可证，允许开发人员首次使用包括405B参数规模的Llama模型的输出来改进其他模型。Meta的商业模式基于为客户打造体验和服务，基于Meta的商业模式，我们认为本次Llama3.1开源主要由于以下原因： •1）不同于闭源模型厂商，Meta的商业模式主要通过在生态里的应用、广告盈利，因此公开发布Llama不会影响Meta的收入、可持续性或研究投资能力，而这些对闭源模型厂商则会有影响； •2）Meta的商业模式决定了其必须确保不被锁定在竞争对手的封闭生态系统中，以免限制自身的开发。通过开源吸引大量开发者使用，Llama将发展成完整的生态系统，包括工具创新、效率改进、硬件优化和其他集成，基于Llama开发的AI助手将部署在Meta的软件当中，为用户带来全新体验，从而增加用户粘性，为自身其他产品打造护城河； •3）Meta有着长期开源项目的成功经验。曾通过开源数据中心设计从而引领行业标准，从而在建设数据中心时节省数十亿美元，Meta同样希望Llama将成为开源大模型行业的标准，使自身生态系统在未来受益。 图3：Llama3.1对Meta生态的影响 资料来源：Meta官网，Github官网，国信证券经济研究所整理 •为训练Llama3.1模型，Meta做出了以下设计： •1）选择了标准的仅解码器的Transformer模型架构，并进行了一些微小调整，而不是使用专家混合模型，以最大化训练的稳定性； •2）采用了迭代的后训练程序，每轮使用监督微调和直接偏好优化。这使Meta能够为每轮创建最高质量的合成数据，并提高每项能力的性能； 图4：Llama3.1模型架构 •3）与之前的Llama版本相比，Meta改进了用于前训练和后训练的数据的数量和 质量，包括开发更仔细的前训练数据预处理和策划管道，开发更严格的质量保证和后训练数据的过滤方法等。 •MoE（混合专家模型）是一种基于Transformer架构的模型，旨在提高模型的计算效率和性能。其基本思想是通过多个“专家”网络（子模型）协同工作，根据输入数据的特征动态选择最合适的专家，从而优化计算资源的使用和模型的预测精度。目前Meta正在准备Llama4模型，我们认为，随着ScalingLaw持续，模型训练参数将持续增加，大幅提高模型训练的硬件需求，未来Meta会更多关注于MoE架构，从而在控制训练成本的前提下获得更强的模型能力。 •基于Meta的商业模式，我们认为Llama3.1在未来将有以下商业化落地模式： •1）云厂商使用费用：谷歌、亚马逊等下游云服务商提供基于Llama3.1模型的服务，Meta将从中收取部分费用； •2）通过Meta生态间接变现：在Meta开发的Facebook、Instagram等软硬件产品上使用基于Llama3.1模型的AI助手，从而吸引用户在软件内消费； 资料来源：Meta官网，Github官网，国信证券经济研究所整理 图5：MoE相关研究增长强劲 •3）广告服务：基于Llama3.1模型提供广告开发以及精准投放服务，并收取费用。资料来源：《ASurveyonMixtureofExperts》，国信证券经济研究所整理 •我们认为，Llama3.1模型开源将为多个产业提供自主训练AI模型的案例及工具，将首先利好以下产业： •1）手机、PC、平板电脑等智能终端厂商：Llama3.1模型开源为智能终端厂商提供了根据自身需求开发及训练AI智能体的全套工具，有助于打破OpenAI及谷歌等闭源厂商的封锁。受硬件水平限制，预计PC厂商将首先受益，预计明年手机等其他终端达到7-8B的运行环境后也将受益，目前戴尔等终端厂商已准备好采用Llama并使用自己的数据训练自定义模型； •2）云服务提供商：Llama3.1模型将在AWS、Azure、GoogleCloud、Oracle、腾讯云以及阿里云等主要云服务提供商的平台可用，云服务商能够利用Llama3.1模型来增强其AI服务，吸引更多的企业客户使用他们的云平台进行AI开发和部署； •3）AI开发平台和工具提供商：Amazon、Databricks和NVIDIA等公司正推出完整的服务套件，支持开发者微调和优化Llama3.1模型。开源模型将刺激下游AI训练需求，并使这些平台能够提供更强大的工具和服务，吸引更多的开发者和企业客户； •4）数据分析及技术服务公司：Scale.AI等数据分析公司将帮助企业使用Llama3.1模型进行数据标注、清洗和分析，提升数据处理和应用的效率。Deloitte等其他咨询公司将利用Llama3.1模型为企业提供定制化的AI解决方案和技术服务，帮助企业在各自的领域中实现智能化转型； •5）软件开发及应用公司：Meta本身以及其他软件公司可通过Llama3.1模型开发软件内部的AI服务功能，从而增强自身竞争力及用户粘性。 图6：Llama3.1模型利好多个产业 资料来源：Meta官网，国信证券经济研究所整理 图7：近期大模型厂商进展 资料来源：OpenAI官网，谷歌官网，xAI官网，Authropic官网，国信证券经济研究所整理 •OpenAI：当地时间7月25日，OpenAI发布AI搜索产品SearchGPT的原型，目前SearchGPT还未开放公测，仅有1万名用户被邀请。与传统搜索引擎不同，SearchGPT不仅仅集成了实时网络信息，应该也包括类似多步推理的功能，能够按照问题总结相关信息并回答，而不需要用户自己去浏览网页。7月18日，OpenAI推出GPT-3.5Turbo替代品—GPT-4omini，即GPT-4o更小参数量的简化版本。ChatGPT的免费用户、Plus用户和Team用户都能够使用GPT-4omini。GPT-4omini价格也大幅下降，GPT-4omini每100万输入token价格为15美分，每100万输出token价格为60美分，比GPT-3.5Turbo便宜超60%。我们认为，OpenAI目前侧重技术突破及行业引领，重点在办公侧AI应用落地，并通过不断优化价格及模型提高自身竞争能力。 •谷歌：当地时间7月26日，AndroidHeadline展示了Pixel9系列手机中的诸多GeminiAI功能，改善用户交互体验，包括手机版的微软Recall功能，可以保存设备屏幕截图，从而满足用户的AI需求。7月26日，谷歌推出了专门从事数学推理的AlphaProof模型，并使用AI拿下IMO奥数银牌。我们认为，谷歌目前侧重于技术商业化及市场占有率，重点在搭载AI的智能终端落地，多款搭载AI模型的产品已在进程当中。 •xAI：当地时间7月26日，马斯克宣布xAI开始根据社交媒体网站X上用户的帖子训练其AI聊天机器人Grok。7月22日，由xAI、X、英伟达等合力打造的由10万块H100组成孟菲斯超级集群（MemphisSupercluster）已经开始启用，为世界上最强大的人工智能训练集群，xAI团队、X团队、英伟达以及其他一些支持公司已开始在该集群上进行训练。我们认为，目前xA