算力产业研究系列（一）：算力时代,关注芯片、软件、网络

摘要： 大模型时代来临，廉价的算力永远是稀缺品。 大模型时代来临，加速计算需求突破式增长。大模型是一个新时代的摩尔定律。算力缺口越来越大，目前算力的基建不够。 世界需要更多算力，廉价的算力永远是稀缺品。我们仍然处于scaling law的早期，模型的能力会随着模型参数的增加而提高。OpenAI、微软与Anthropic等头部公司的产品仍在你追我赶的过程中。未来市场前景广阔。芯片、软件、网络共同构筑算力时代竞争优势 芯片、软件、网络共同构筑算力时代竞争优势。 以英伟达为例理解算力时代NPU厂商三大技术优势。 壁垒1：GPU/芯片优势明显：从架构上，英伟达打造综合GPU。此外，英伟达在范式架构上的积累领先行业。从硬件生态上，GPU性能受供应链影响很大。从芯片设计上，NVIDIA的方案效率更好。 壁垒2：CUDA生态建立巨大迁移成本：CUDA生态建立巨大迁移成本（时间成本+开发成本+使用习惯成本）。科技树上低垂的果实都被摘光了，只有在正确的道路上不断积累才能有长坡厚雪的实力。 壁垒3：网络架构与互联结构更符合现阶段需求：英伟达NVLink+NV Switch实现低延迟+高带宽+高内存。同时实现7倍带宽+3倍内存。 未来软件能力与硬件加速迭代 Tensor Core的优势在于混合精度计算、简化指令集架构、数据并行处理，打破了内存限制，多元化了数据处理格式。 Transfromer Engine采用混合精度训练，使用低精度数据时需要动态调整设置scaling factor。Embedding使高维原始数据映射到低维流形后可分，self-attention确保查询不超前于其自身时间的信息，FFN对多头注意力 的输出进行进一步处理，Transfromer使用Target-Attention捕获Encoder编码的信息，多种技术对确保模型的稳健性和泛化能力至关重要。 风险提示：算力场景落地不及预期，政策变动，产品研发不及预期等。 文章来源 本文摘自：2024年8月20日发布的《算力时代，关注芯片、软件、网络——算力产业研究系列（一）》李嘉琪，资格证书编号：S0880524040001王浩，资格证书编号：S0880513090004 更多国君研究和服务 亦可联系对口销售获取 重要提醒 本订阅号所载内容仅面向国泰君安证券研究服务签约客户。因本资料暂时无法设置访问限制，根据《证券期货投资者适当性管理办法》的要求，若您并非国泰君安证券研究服务签约客户，为保证服务质量、控制投资风险，还请取消关注，请勿订阅、接收或使用本订阅号中的任何信息。我们对由此给您造成的不便表示诚挚歉意，非常感谢您的理解与配合！如有任何疑问，敬请按照文末联系方式与我们联系。