1、Llama3 模型概述与技术特点 Llama3 模型代表了全球 AI 产业发展趋势的变化，其发布可能成为标志性事件。Llama3 模型分为大中小三个版本，参数量分别为 400B、70B 和 8B，其中 70B 版本效果介于 GPT3.5 到 GPT4 之间。Llama3 模型在不同参数量下对应不同应用场景，如小模型适用于移动端，中等 模型适用于云端，大模型适用于长时间计算。2、Llama3 模型技术指标与行业影响 Llama3 模型在多个技术指标上相比 Llama2 有明显进步，其中 8B 版本效果已追 上 Llama2 的 70B 版本。Llama3 的 70B 版本在某些评测指标上已超过业界主流模型，成为目前最强的 70B 模型。Llama3 模型在基础模型指标对比中表现优秀，8B 和 70B 版本均显示出较强的竞 争力。3、Llama3 模型架构与数据处理 Llama3 模型架构与 Llama2 相似，采用分组注意力机制，提高了推理效率。Llama3 模型在数据处理方面有特点，其 token 字典从 32K 扩展到 128K，提升了 编码效率。4、Llama3 模型推理成本与数据构建 Llama3 模型的推理成本较高，尤其是 400B 版本，由于其稠密架构，每次推理 都需要激活全部参数量。Llama3 模型在数据构建上采用了大量高质量数据，使用了更先进的数据过滤流 水线和方法论，显著提升了模型性能。5、Llama3 模型对行业的影响 Llama3 模型的发布可能导致开源与闭源模型之间的差异化趋势，国内厂商可能 会基于 Llama3 进行中文化和定制化开发。Llama3 模型的发布也可能促进大模型安全化和模型对齐技术的发展，提供更多 的商业化和产品化机会。Llama3 模型的推出加强了开源模型生态位，可能会吸引更多的产业链上下游企 业围绕其设计和构建相关产品。6、Llama3 模型训练与未来发展 Llama3 模型的训练数据量和质量是提升模型性能的关键，未来可能需要更高效 的数据筛选和合成数据技术。未来大模型的发展可能会遇到硬件资源和训练数据的瓶颈，但目前尚未看到明确的限制，预计模型参数量和数据量的提升趋势将持续。7、投资机会与行业展望 专家认为，大模型和 AI 应用在 2024 年将是一个重要的投资主线，尤其是在国 产模型能力提升和应用数据放量方面。推荐关注与大模型和 AI 应用相关的行业，如影视、出版、教育等，预计随着财 报季结束，这些领域将出现反弹机会。Q&A Q：关于如何在 Llama3 基础上开发模型，以及 Llama3 的复现难度和国内如何推 动自有模型开发？A：Llama3 模型虽然开源，但其训练数据和部分训练方法并不完全开源。在没有训练数据的情况下，继续训练模型是一个专业且复杂的工作。Llama3 是一个 参数量更大的模型，与 Llama2 相比，它提供了更大的版本（400G）和中等版本（70B）。国内厂商可以基于 Llama3 进行微调和训练，以开发自有模型，但需 要考虑到算力需求的增加，因为 Llama3 已经追平了最强的闭源模型，这降低了 使用闭源模型 API 的成本，从而可能增加对 Llama3 进行微调的需求。Q：Llama3 模型发布对行业的影响有哪些？A：Llama3 模型的发布对行业有以下几个影响：1. 开源与闭源模型之间的差异 化趋势，国内厂商可能会专注于中文 token 词典的扩充和预训练，而其他厂商 可能会继续训练闭源模型。2. 中文版的强大模型可能会出现得比国内自研闭源 大模型快，因为 Llama3 的开源特性使得中文化工作更容易进行。3. 开源阵营虽 然在全球范围内弱于闭源阵营，但未来国内外开源大模型与闭源模型的差距可能会缩小。4. Llama3 发布时伴随了一系列安全化和模型对齐的措施，这有助于 开发者快速实现模型对齐和安全性，推动 AI 应用的商业化和产品化。5. Llama3 是目前公开最强的闭源模型的开源版本，它的发布使得开源模型和闭源模型处于同一水平线。6. Meta 通过 Llama3 的推出，进一步巩固了其在开源模型领域 的生态位，有助于产业链上下游的设计和构建。7. Llama3 的成果加剧了开源生 态的竞争，可能会促使一些闭源模型考虑开源。8. 微调训练的算力需求可能增 加，因为 Llama3 的开源特性使得更多的厂商可能会选择使用它进行微调，而不 是闭源模型的 API。 Q：Llama3 模型的未来发展方向和预期是什么？A：Llama3 模型的未来发展方向和预期包括：1. Llama3 的 400D 模型预计将在 6 至 7 月发布，这将进一步巩固其在开源模型领域的地位。2. Meta 的 Llama3 推 出将巩固其在开源模型生态中的最强生态位，吸引大量开源生态和产业链上下游围绕其设计和构建。3. Llama3 的竞争加剧了开源生态的竞争态势，可能会促 使闭源模型考虑开源化。4. Llama3 的发布和未来的发展可能会使得开源模型和 闭源模型之间的差距缩小，甚至在某些情况下，开源模型可能会优于闭源模型。Q：如何理解 Llama3 模型相比 MOE 模型在训练和收敛效率上的差异？A：Llama3 模型与 MOE 模型相比，在训练和收敛效率上存在显著差异。MOE 模 型通过将模型分为多个专家，每个专家负责不同的任务，这种设计加入了人类的认知，简化了模型训练的难度并提高了收敛的可能性。而 Llama3 模型是一个 稠密模型，需要自行学习所有知识间的内在联系，因此训练过程更为漫长，需要大约 15TB 的 token 数才能有效训练模型。此外，Llama3 模型相比 MOE 模型 更难收敛，但未来仍有可能通过开源的模型权重和训练方法，实现模型的优化和中文化。Q：Llama3 模型的中文化训练有哪些方式，各自的优缺点是什么？A：Llama3 模型的中文化训练主要有两种方式。第一种是基于已开源的模型权 重继续训练，只需加入中文数据进行微调，这种方式训练相对容易，但中文适配可能不够好，且在模型安全层面可能难以完全对齐。第二种是从零开始预训练，需要准备大约 15TB 的中文数据进行训练，这种方式在模型安全和中文化方 面可以做得更好，但训练难度大，收敛过程困难。两种方式各有优缺点，需要根据实际需求和资源情况进行选择。Q：如何看待未来稀疏模型（MOE）和密集模型（Dense）技术路径的演绎方 向？A：目前，MOE 架构因其低推理成本而在 to C 应用中成为主流技术路径。MOE 模型不需要在每次推理时激活所有参数，只需激活一小部分，从而降低了推理成本和提高了推理速度。然而，Llama3 选择了 Dense 架构，这与其训练时的资 源限制有关。Llama3 使用较少的参数量实现了与更大参数量模型相当的逻辑推 理能力，但每次推理时需要更长的时间和更高的成本。目前，没有明确哪一种架构会成为唯一的路径，MOE 模型在推理成本上更有优势，而 Dense 模型在训 练资源有限时可能更受开源模型的青睐。Q：未来大模型在技术层面将如何提升其逻辑推理能力？A：逻辑推理能力的提升将遵循 scaling law 的思路，即通过增加模型参数量和提 升训练数据的质量来实现。Llama3 模型使用了约 15TB 的训练数据，是一个 Dense 模型，其逻辑推理能力的提升将依赖于这两个方面的进步。Q：Llama3 模型在提升逻辑对比能力方面遇到的主要瓶颈是什么？A：Llama3 模型在提升逻辑对比能力方面主要遇到两个瓶颈：模型参数量的提 升和训练数据的提升。目前，模型参数量可以通过采用更大规模的模型或更先进的架构来提升，如 Llama3 模型在 400B 参数量的基础上有潜力提升至 1000B。然而，硬件水平，尤其是 GPU 集群的规模和通信能力，成为制约因 素。此外，训练数据的质量和数量也是关键，需要更高效的筛选机制和合成数据的整合。Q：未来几年，模型参数量、训练数据量、训练算力的发展趋势如何？A：目前，模型参数量、训练数据量和训练算力都呈现出持续增长的趋势，尚未 看到明显的瓶颈。模型参数量有潜力继续提升至数千个标准，而训练数据量在实验中也显示出未达到极限的迹象。尽管如此，对于更大规模的模型，当前的训练数据量可能不足以满足需求。业界普遍认为，这一增长趋势有望持续，但具体能持续多久尚无定论，可能会在 GPT5、GPT6 等未来版本中遇到瓶颈。Q：训练数据的提升面临哪些挑战，未来如何优化？A：训练数据的提升面临的挑战包括高质量训练数据的稀缺和现有高阶量训练数 据的充分利用。未来，可以通过更先进的模型在低质量数据中筛选出高质量的训练数据，以及通过人工审核合成数据来提升训练数据的质量。此外，面向消费者的 AI 应用（To C AI applications）可以带来更大规模的数据，有助 于收集和 迭代模型，从而成为提升训练数据质量的重要途径。Q：如何看待当前大模型和 AI 应用的投资机会？A：当前大模型和 AI 应用的投资机会被看好，尤其是国内在能力提升和应用数 据放量方面的确定性强。推荐的投资领域包括影视、出版、教育等细分市场。随着财报季的结束，预计这些领域将出现反弹机会，建议投资者积极关注。