东北通信英伟达发布新一代MoE架构大模型Nemotron4全球AI大模

事件：英伟达于6月15日发布新一代AI大模型Nemotron-4340B，最大的技术变化在于进一步拥抱MoE架构，引入RoPE优化算法：1⃣#架构端：Nemotron-4340B采用Transformer架构，具备因果注意力掩码，使用旋转位置嵌入（RoPE）、SentencePiece分词器【东北通信】#英伟达发布新一代MoE架构大模型Nemotro n-4，全球AI大模型技术迭代浪潮加快，算力需求持续高涨 事件：英伟达于6月15日发布新一代AI大模型Nemotron-4340B，最大的技术变化在于进一步拥抱MoE架构，引入RoPE优化算法：1⃣#架构端：Nemotron-4340B采用Transformer架构，具备因果注意力掩码，使用旋转位置嵌入（RoPE）、SentencePiece分词器、MLP层平方ReLU激活函数等多项优化功能；2⃣#训练端 ：Nemotron-4340B使用768个DGXH100节点进行训练，每个节点包含8个基于NVIDIAHopper架构的H10080GBSXM5GPU；每个节点GPU 通过NVLink和NVSwitch连接，GPU间带宽900Gb/s（双向各450Gb/s ）；每个节点配备8个NVIDIAMellanox400GHDRIB主机通道适配器， 用于节点间通信；3⃣#模型性能评估对比：Nemotron-4340B在常识推理任务以 及BBH等主流基准上实现了行业最高的准确率，并且在MMLU代码基准上也具备较高竞争力；#点评：MoE架构相比传统Transformer模型具备更高的效率和更低的成本，在海 外谷歌Gemini、英伟达Nemotron等AI大模型积极采用MoE架构的推动下，MoE大 模型有望成为全球AI大模型主流技术路线，对通信网络更高需求推动高性能交换机加速落地。具体来看主要是推动单交换机峰值速率提升，以及交换机总需求量增加。AI算力基础设施建设预计将保持扩张周期，带动上游光模块、交换机等环节需求提升 #重点推荐板块及标的： 交换机：锐捷网络、盛科通信、紫光股份、菲菱科思、共进股份光模块及光器件：中际旭创、天孚通信 、新易盛光芯片：源杰科技 □欢迎联系：东北通信要文强13552769350/史博文18612207935进一步交流