计算机行业周报：Llama3发布，开源大模型能力进一步提升

2024年04月22日计算机 证券研究报告 Llama3发布，开源大模型能力进一步提升 投资评级领先大市-A维持评级 Llama 3发布，提升开源大模型能力 上周四，Meta正式发布了人们等待已久的开源大模型Llama3。Meta表示，Llama3在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。 首选股票目标价（元）评级 Llama3的主要亮点包括：基于超过15T token训练，相当于Llama 2数据集的7倍还多；支持8K长文本，改进的tokenizer具有128Ktoken的词汇量，可实现更好的性能；在大量重要基准中均具有最先进性能；新能力包括增强的推理和代码能力；训练效率比Llama 2高3倍；带有Llama Guard 2、Code Shield和CyberSec Eval2的新版信任和安全工具。8B和70B版本Llama3模型已用于Meta AI助手，同时也面向开发者进行了开源，包括预训练和微调版本。999563367 Llama3在训练数据集上有明显提升：Llama 3使用超过15T的token进行了预训练，这些token都是从公开来源收集的。总体上讲，Llama3的训练数据集是Llama 2使用的数据集的七倍多，并且包含四倍多的代码。为了为即将到来的多语言用例做好准备，超过5%的Llama3预训练数据集由涵盖30多种语言的高质量非英语数据组成。 Llama3在预训练阶段也有更多改善：在Llama3的开发过程中，Meta对扩展行为进行了一 些新的观察。例如， 虽然8B参数模型 的Chinchilla最佳训练计算量对应约200B token，但Meta发现在对多达15T token进行训练后，8B和70B参数的模型都继续以对数线性的方式提升性能。Llama3预训练是在H100-80GB类型的硬件（TDP为700W）上累计770万个GPU小时的计算。Meta还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。这些改进使总体有效训练时间超过95%，使Llama3的训练效率比Llama2提高了约三倍。 赵阳分析师SAC执业证书编号：S1450522040001zhaoyang1@essence.com.cn 夏瀛韬分析师SAC执业证书编号：S1450521120006xiayt@essence.com.cn 相关报告 量子时代的矛和盾：关注抗量子密码产业进展2024-04-15大规模设备更新涉及交通领域，车联网基建有望加速2024-04-08低空经济顶层政策颁布，产业发展有望加速2024-04-01量子技术：微观世界下的未来产业2024-03-25Kimi升级+阶跃星辰发布，国产大模型黑马蓄势跃升2024-03-24 展望未来，最大的Llama3参数将超过400B，目前仍在训练中，但在接下来的几个月中陆续发布，新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。 开源大模型追赶GPT-4，利好算力和应用产业推进 伴随Llama3的发布，开源大模型在能力上将进一步追赶GPT-4的能力，从而带来AI应用的繁荣，同时也将推升训练和推理侧的算力需求。我们认为AI依然是科技产业未来的重要主线之一，当前模型能力和算力需求还没有达到瓶颈，仍可继续关注产业的未来进展。建议关注：AI算力：浪潮信息、工业富联、软通动力、润泽科技等；AI应用：金山办公、科大讯飞、万兴科技、美图公司、佳发教育、彩讯股份等。 风险提示： 1）宏观经济变化影响企业信息化支出；2）财政与货币政策低于预期；3）供应链波动加大，影响科技产业发展。 内容目录 1.本周行业观点...............................................................42.市场行情回顾...............................................................53.重要行业新闻...............................................................73.1.AI大数据应用.........................................................73.2.数字经济.............................................................73.3.智能网联汽车.........................................................83.4.新兴技术与硬科技.....................................................94.重点公司动态..............................................................104.1.智联网汽车..........................................................104.2.AI应用..............................................................104.3.政务信息化..........................................................104.4.金融科技............................................................104.5.工业软件............................................................114.6.医疗信息化..........................................................114.7.网络安全............................................................11风险提示.....................................................................14 图表目录 图1.本周各行业涨跌幅统计....................................................5 表1：本周板块指数涨跌幅统计.................................................5表2：本周计算机个股涨跌幅统计...............................................6 1.本周行业观点 Llama 3发布，提升开源大模型能力 上周四，Meta正式发布了人们等待已久的开源大模型Llama3。Meta表示，Llama3在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。 Llama3的主要亮点包括：基于超过15T token训练，相当于Llama 2数据集的7倍还多；支持8K长文本，改进的tokenizer具有128K token的词汇量，可实现更好的性能；在大量重要基准中均具有最先进性能；新能力包括增强的推理和代码能力；训练效率比Llama 2高3倍；带有Llama Guard 2、Code Shield和CyberSec Eval2的新版信任和安全工具。8B和70B版本Llama3模型已用于Meta AI助手，同时也面向开发者进行了开源，包括预训练和微调版本。 Llama3在训练数据集上有明显提升：Llama 3使用超过15T的token进行了预训练，这些token都是从公开来源收集的。总体上讲，Llama3的训练数据集是Llama 2使用的数据集的七倍多，并且包含四倍多的代码。为了为即将到来的多语言用例做好准备，超过5%的Llama3预训练数据集由涵盖30多种语言的高质量非英语数据组成。 Llama3在预训练阶段也有更多改善：在Llama3的开发过程中，Meta对扩展行为进行了一些新的观察。例如，虽然8B参数模型的Chinchilla最佳训练计算量对应约200B token，但Meta发现在对多达15T token进行训练后，8B和70B参数的模型都继续以对数线性的方式提升性能。Llama3预训练是在H100-80GB类型的硬件（TDP为700W）上累计770万个GPU小时的计算。Meta还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。这些改进使总体有效训练时间超过95%，使Llama3的训练效率比Llama2提高了约三倍。 展望未来，最大的Llama3参数将超过400B，目前仍在训练中，但在接下来的几个月中陆续发布，新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。 开源大模型追赶GPT-4，利好算力和应用产业推进 伴随Llama3的发布，开源大模型在能力上将进一步追赶GPT-4的能力，从而带来AI应用的繁荣，同时也将推升训练和推理侧的算力需求。我们认为AI依然是科技产业未来的重要主线之一，当前模型能力和算力需求还没有达到瓶颈，仍可继续关注产业的未来进展。建议关注：AI算力：浪潮信息、工业富联、软通动力、润泽科技等；AI应用：金山办公、科大讯飞、万兴科技、美图公司、佳发教育、彩讯股份等。 2.市场行情回顾 2.1.本周板块指数涨跌幅 本周深证成指上涨0.56%，创业板指下跌0.39%，计算机行业指数下跌3.73%，跑输深证成指4.29%，跑输创业板指3.34%。横向来看，本周计算机行业指数在中信30个行业指数中排名第25，在TMT四大行业（电子、通信、计算机、传媒）中排名第3。 资料来源：Choice，国投证券研究中心 2.2.本周计算机个股表现 从涨跌幅情况来看，本周计算机板块整体表现一般。展望2024年，我们仍建议关注景气度向上的人工智能、数据要素、智能网联汽车和信创等产业的投资机会。 3.重要行业新闻 3.1.AI大数据应用 贾佳亚团队开发的多模态视觉语言模型（VLM）Mini-Gemini，因其出色的图文理解能力而备受关注，被誉为开源社区版的GPT-4与DALL-E 3的结合体。该模型能够理解高清图像，并生成相应的图像或文本内容，甚至能够通过代码复现数学函数图像。Mini-Gemini在发布后迅速登上PaperWithCode热榜，其能力在多个指标上与Gemini Pro和GPT-4V相媲美。目前，该模型的代码、模型和数据已经全部开源，提供了从2B到34B不同规模的版本，以适应不同的应用需求。Mini-Gemini的线上Demo也已上线，用户可以直接与模型进行互动，体验其强大的图像理解和生成能力。（来源：新智元） 清华团队开发的「太极」AI光芯片采用全新分布式广度智能光计算架构，拥有亿级神经元的计算能力。「太极」芯片能处理接近人类智能水平的复杂任务，包括自主决策、复杂环境的导航等，这些通常是AGI研究中的关键挑战，可应用于自动驾驶、智能制造和高级机器人等。「太极」芯片实现160 TOPS/W的通用智能计算，能效是英伟达H100的1000倍。（来源：新智元） Reka AI团队，由前DeepMind、Google Brain和FAIR成员组成，发布了与GPT-4匹敌的多模态大模型Reka Core。Reka Core支持图像、视频和音频的混合输入，展现出比Gemini Ultra更强的多模态性能。团队规模小但高效，由2