开源电子AI互连系列报告一：PCIe总线与Switch芯片成AI算力互联底座

一、AI总结内容 一、核心要点 1. 本次报告为开源电子AI互联系列报告第一篇，聚焦AI算力集群互联底座的PCIe总线与PCIe Switch芯片，解答三大核心问题：PCIe总线互联架构是什么、为何需PCIe Switch、超节点环节为何仍需PCIe Switch。 2. PCIe是CPU与外设的高速串行互联标准，发展近20年，每3-4年迭代速率，具向后兼容性，目前5.0已商业化量产，6.0已推出产品（2027年量产）、国内2028年量产，7.0及8.0规划引入光学互联以满足AI海量数据传输需求。 3. 直连架构存在CPU PCIe通道不足、跨NUMA域延迟高的问题，引入PCIe Switch可释放CPU通道，支撑更多GPU、网卡、SSD挂载，还可配合Fiber Link降低本地与跨NUMA域互联延迟，AMD、戴尔服务器已搭载该芯片。 4. 超节点是多服务器/加速卡通过高速互联组成的内存一致性巨型计算机，含Scale-up（单机柜增GPU）、Scale-out（多机柜组网）环节，PCIe Switch在柜内缓解CPU通道不足、补齐链路，其物理层是NVLink、CXL等技术的基础，将随超节点发展强化地位。 二、投资线索 1. 看好PCIe赛道内两家公司：弯头发展（PCIe 5.0 144通道产品已量产出货）、蓝企科技（现有PCIe Retimer产品，正研发PCIe 6.0 Switch），具备成长性 三、风险与关注 1. PCIe 6.0及以上产品量产进度或不及预期；2. AI算力集群、超节点落地节奏或受需求、技术迭代等因素影响；3. 相关芯片厂商的研发、量产进度可能存在不确定性。 二、音频原文（转写） 大家好，欢迎参加开源电子AI互联系列报告一，构筑当前AI算力集群互联底座的PCI总线与Ritimer NSwitch芯片，目前所有参会者均处于静音状态，下面开始播报声明。本次会议仅面向开源证券的专业投资机构客户或受邀客户，仅供在新媒体背景下研究观点的及时交流。第三方专家发言内容仅代表其个人观点，所有信息或所表述的意见并不构成对任何人的投资建议。未经开源证券事先书面许可，任何机构或个人严禁录音、转发及相关解读。 涉嫌违反上述情形的，我们将保留一切法律权利。感谢您的理解和支持。去谢谢。嗯，好的，那个呃各位投资者大家呃下午好，我是看见的首席陈红芳啊。 那我们今天的话呃也是很荣幸在今天一个就国产算力大反弹的这样的一个呃周四，然后来给各位。呃，线上投资者来啊分享我们第一天互联芯片的这样的一个呃新的一个报告。然后写这样的一个报告，一个初衷的话，就是因为。其实在呃未来的这样的一个国产的一个算力的一个发展过程当中，呃超节点。 呃，的这个弯道超车的这样的一个呃，就是趋势是非常明显的。呃，那在这样的一个过程当中，不管是在 海外的这样的一个技术的一个演进，还是在国内国产芯片的这样的一个技术的一个演进。就互联这个层级，它的方案都是多种多样，而且是在持续演进的这样的一个过程当中。啊，所以呢 我们呃后面就是这个P C IE的这样的一些总建树，我们互联报告的第一篇报告，呃，因为像P C I E的话，它是 呃，就是相对比较传统的也是呃用量啊，确定性比较强，然后比较广泛的这样的一个呃互联的这样的一个协议。 呃，那相关的投资机会不仅有P C I E的呃retimer，也有P C I E的switch这样的一些投资的一个机会。啊，那后面的话我们也会。呃，持续的去做更多的互联芯片的这样的一些报告跟呃，就是呃，输出。而且。 呃，就是内化成就是呃合规出去的这样的一个呃系列报告。然后通过呃基本财经呃做这样的一个讲解，以及展示P P T和录屏。供大家持续性的一个学习。因为这个环节的话，包括像连接这种环节，其实都是呃技术路径比较复杂，大家可能呃就是学学着学着很多一个技术路径都学混了。 啊，反正我们这边的话，到时候呃整个的一些报告啊跟P P T啊。跟那个会议的一个内容都会持续性保持一个呃，就是回放的这样的一个阶段，可供大家呃，就是反复的这样的一个check。呃，那我先介绍这么多，然后让我们呃组的就是呃AI芯片的这样的一个分析师陈凯。然后给各位领导呃，先线上讲第一篇这样的一个呃P C A的一个总线这样的一个报告。 然后呃各位领导的话也可以去呃通过金门财经的网络端接入，然后同步呃呃查看这样的一个PPT的一个内容。哎，陈凯，哎。哎，好的好的，芳姐，然后我这边就来汇报第一篇报告，然后 呃，各位投资者下午好。然后其实本来呢，就是说关于P C I E组建的互联框架以及P C I E switch的应用的核心科普。 啊，就是这今天报告的内容嘛。其实过去大家可能会把更多的视角是集中在这个算力和存力两个比较核心的性能板块。然后，但是对于这种把两个东西勾连起来，能够实现效率充分释放的这种。AI运营板块多多少少会有一些空白。 然后除此之外呢，大家可能在过去对于在学超节点的过程中呢，也会面对到说呃 PCIe switch是不是会被呃替代的这种疑问。所以说这一次的讲解呢，是主要啊围绕着这个问题去回答三个问题。然后首先呢，其实呃第一个问题呢，其实就是想给大家解答说为什么呃。就是以 PCIe 总线为核心的这个互联架构，它是怎么样的？ 然后其次呢，就是我们为什么要使用 PCIe switch 它为什么那么重要？然后第三呢，其实就是说啊，为什么在超节点的环节，我 Pcie switch它依然非常重要的一个核心原因。啊，好的。呃，首先呢，其实呃，我们看在AI服务器的这个架构中。 Pcie它是作为CPU到外设间的这个互通链。然后主要起到的就是这个数。数据传输和控制链路的这个作用。啊，然后与此同时呢，通过 PCIe 的互联。 还决定着这个GPU的扩展能力和拓扑结构。然后直到当前的这个AI算力集群，它逐步的迈向超节点。Pc ie switch. 在这个 CPU 到 GPU 以及 GPU 到 GPU 之间的连接呢，它依然还是有重要作用的。然后我们从这里可以看到Pcie，它作为一个高速串行串行的这个互联标准。 至今呢，已有已有这个接近二十余年的这个发展历程。大体呢也是保持着每到每三到四年完成一次速率迭代，并且维持良好的向后兼容能力。然后从早期的一点零和一点一起步呢。是确立点对点串行互联架构，完成对传统PCI总线的替代。 然后PCIe2.0到4.0呢，也是在持续翻倍，然后在这个过程中，它 呃，持续的在提升自己的单通道速率。然后也逐步成为这个服务器外设。呃，A V M E存储的这种主流的互联底座。然后而 PCIe5.0呢，则是进一步优化信号与延时特性。 然后正式的去适配AI算力爆发带来的这种大带宽的需求。然后到了P C A六点零呢，则是引入了POM四调制呃呃F L I T编码，然后F E C纠错。啊，这在这个过程里面，它的传输效率也是在大幅提升的。然后以及面向大型数据中心。 然后PCIe7.0以及PCIe8.0呢，则继续向着正呃超高速率去演进。然后在这个过程中呢，是逐步在规划并引入光学互联等技术，从而进一步满足这个呃AI时代。服务器内部海量高速数据传输的这个压力。然后从应用落地来看呢，当下已经全面实现商业化量产的呢，就是Pcie 5.0。 啊，以及相关的这种设备和互联芯片。然后但是P呃，而P C I E六点零呢，现在也是已经有了相应的互联芯片及外设产品。而且海外已经在开启了这种小规模的适配。大概预计要到2027年开始呢进行量产。 然后国内的则是需要等到2028年才能开始。呃，那具体P C I E是如何作为互联互通呢？首先我们结合着这个常规的这种巴卡A I服务器。去看直链架构下的这种形式。 所谓直连呢，它其实就是指所有的这种外设，比如说G P U。S S D和网卡 这种外设呢，是直挂CPU的。然后其中GPU呢，作为这个算力的核心。然后高速网卡呢，是服务器对外网络出入口。 然后同时负责与其他这个服务器交换梯度以及数据集加载等。然后SSD呢，在这个过程里面，它是用来存放训练数据集，然后以及模型权重文件的。在这种直连的模式下呢，内部的单元间的交互主要分为本地和跨努马域两种。然后当进行本地访问的时候呢，比如说挂载在同一个CPU下的两个GPU进行数据交互。 由于两二者并不直接连接。所以就。啊，需要绕行CPU，也就是说在这个过程里面先呃从这个GPU零进行呃数据交呃。先从 CPU GPU0的这种啊 HBM 里把这个啊数据拷贝到 CPU0的这个内存里。 然后呢，再由内存拷贝至这个 GTO1的 HBM 里。然后这一个过程中总共发生了两次DMA拷贝。而当开启Pcie P2P的时候呢？数据交互虽然依然还是因为，因为你这个G P U零和G P U一都是连接在这个C P U零上的嘛。 所以说在这个过程里面，他们的数据交互同样需要绕行CPU。但是在这个过程里，他就不会再落地 CPU的内存了。所以说直接是由CPU零的HBM。经CPU的根复合体拷贝至GPU一的HBM。 也就是说，在这个，在这种过程里面，仅仅发生了一次DMA拷贝。然后另外呢，其实是说在这个呃跨努马域的这种访问的时候呢，情况会变得比较特殊。因为数据流呢，它需要它是需要跨过。呃，两个C P U之间的非P三A链路。 所以说在这个过程中，PCIE P2P呢，它是会直接失效的。所以说整个过程里面，他们是需要先从GP U零的这个。啊，H B M。然后进行DMA拷贝至CPU0里。 呃，CPU零的内存里。然后呢，再经过CPU零的内存迁移至CPU一的内存。然后最后再由C P U一的这个内存D M A拷贝到G P U四。呃，G P U四的这个H B M。 在这个过程里呢，其实也就是说在这个直链架构下，其实很明显它会有两个问题。首先呢，就是当你的CPU在直接挂载外设的时候呢，它必须拥有充足的通道。它必须拥有充足的通道。也就是说，CPU它的PCE通道总归是有上限的。 但随着你这个算力不断的增强，外设的规模呢，就是说相当于是会随着算力需求的提升而持续增长。另外，CPU它的这个PCE通道它是非常宝贵的。而且CPU它是侧重于复杂的运算，而GPU则是侧重于重复性的运算。啊，就好比说你这个CPU，它相当于是一个博士生，他做的都是一些啊高端的运算，而GPU零呢，啊，不，而这些GPU呢，它都是一些小学生做的，都是一些重复的啊这种计算，重复的大规模的计算。 所以说当你 直接把这些所有的GPU直接挂载在CPU上的时候，它会长时间它会造成通道堵塞，使得整体的这个呃互联效率变得非常的低。然后第二呢，其实就是刚才我们说的啊，跨努马语会会存在一些高延迟。也就是说啊，我们刚才反复提到的，因为直连所以造成的啊，各种绕行CPU以及落地CPU内存以及跨努马域的这种延迟问题。所以说在这个过程里面呢，我们就逐步引入了这个PCIe switch。 呃，通过引入这个PCIe switch呢，是我们能够在这个过程里释放更多的PCIe通道，让这个CPU可以挂载更多的外设。就比如说在Meta的这个呃大体盾模大体盾的这个架构中，我们可以直接数出来，在一个这种CPU下呢，它其实是挂载了呃四张GPU，然后四张网卡，呃，五张网卡，然后呢，以及八张这个SSD。所以说如果我们再把它数出来的话呢，它是对应需要四乘以十六加五乘十六再加八乘四，总共是一百七十六条PCIe通道。 然后这个数量呢，其实 是，即使是你当前用最前沿的 CPU 也是没有办法满足的。所以说在这个过程里面，我们就必须要依托 PCI SWITCH 进行挂载，同时利用通道冗余呢，也能给这个体系更高的可扩展性。然后目前大部分的这种巴卡 AI 服务器，它都是啊搭载了专门的 PCI 拓展板。就比如说这里，这是一个 AMD 的 Instinct 8U 的服务器。 然后从这里可以看得到，呃，最上面最开始的这里呢，是它的一个服务器的整体架构，分为两个抽屉。下面的这个抽屉呢，是用来放 GPU 的。然后下面的这个抽屉呢，其实就是用来放这个C P U版和它对应的这种交换版，也就是。Ah. 这里看得出来是一个CPU版。 然后这边呢是