Serebras架构之变和美国十万卡级AI集群发展趋势20260816 导读

20260816_导读 2026年08月16日19:58 关键词 GPU万卡集群据中心 网架构力 散数络电热NVIDIA AWS芯片AI推理服器 网物理基施训练务络础设成本TPU AMD HBM集群 全文摘要 本次聚焦大模会议规AI算力集群技，深入了芯片、集群建挑与机遇、算力使用效益，术讨论选择设战经济以及GPU、TPU、自研芯片在不同景下的用表与未。涉及据理效率、硬件成本与场应现来趋势会议还数处件优化，旨在探索技新与优化策略，以提升算力效率并降低成本，软术创应对AI算力需求增的挑。通长战合分析，与者共同求解大模过综会寻决规AI算力集群面的，推行向前展。临实际问题动业发 章节速览 l00:00海外CSP云与AI算力发展及10万卡级集群趋势 聚焦于海外会议CSP云和AI算力域的最新展，特是领进别10万卡级AI集群的展。家分享不发趋势专将同于传统GPU的芯片概，以及海外大型况AI集群的特征和展方向。涵发讨论将盖约40分的介钟专题绍，后有提。随设问环节 l04:39万卡GPU集群构建与电力散热挑战探讨 万卡对话围绕GPU集群的物理基施挑展，指出在美建万卡集群面力和保，而在中础设战开国设临电环难题，网支持的最大国单个无损络GPU量数为36000卡，构成一有效的算元。千卡模的集群被张个计单规认是构建据中心最合理的大小，涉及供、制冷等多方面。力供被基施建中的为数时经济电个电应视为础设设首要考因素。虑 l09:16数据中心网络架构与物理基础设施探讨 深入探了据中心在高密度境下的物理基施，特是冷水机与对话讨数环础设别冻组CTU冷板的二次冷系却统，以及冷水塔与拽在不同气候件下的水消耗差异。同，了网架构，了服外部库条时讨论络设计强调务节点内通信的分工，如NV Link、NV Switch与光接在连B300和NVL72机柜中的用，突出了网架构大模应络对型与推理的重要性。训练 l12:39 AWS芯片策略与Cyber S大芯片局限性分析 了讨论AWS部芯片合策略，包括内组NV、TPU、AMD芯片的比例，以及自研芯片的成本优。分析了势Cyber S大芯片在AI用中的局限性，尤其是存容量不足模型推理的影。指出应内对响Cyber S芯片件生软的不足限制了其大模用前景，更适合特定景下的解任。态规应场码务 l17:46 AI芯片与HBM供应影响云生态及主权AI 了讨论AWS布的离版本整机柜云生的影，其主发线对态响强调针对权AI需求，保障据安全但牲云上数牺活性。分析了灵TPU等自研芯片对NVIDIA生的影，指出企用中并行部署非必要性。态响业级应HBM供及价格升成模型性能瓶，大厂通期确保供定。应紧张飙为颈过长协议应稳 l23:13实现无限记忆：技术手段下的长上下文推理 了通技手段上下文推理的限功能，重在于讨论过术实现长无记忆点KV Cache的高效管理与据存策略，数储包括不常用据将数从HBM卸至载CPU存或内SSD/HDD，以及利用向量据保存和召回史信息，而数库历从 在用感知面限期效果。户层实现无记忆 l26:38算力集群运营与故障容错机制探讨 了大模算力集群的回与故障理策略。指出对话讨论规运营报处10万张GPU卡集群在前市境下几乎当场环不置，因其供不求。介了会闲应绍GPUSservice和tokenfaction种商模式，以及两业3万卡的集群模张规足以高峰并需求。于应对发对4万卡的故障和度，提出了非非斗妹架构、份技和张调乐乐热备术训练checkpoint等容机制，确保集群行效率和成果不受影。错运响 l32:11中美数据中心建设与芯片技术差距分析 了中美在据中心建和芯片技上的差距，指出中在据中心建速度上先，而美面地讨论数设术国数设领国临电保等挑。于芯片技，中在上有所展，但先制程仍是主要挑。未几年太地环战对术国虽设计进进战预计来亚据中心算力迅速增，而美建速度可能稍慢。区数将长国设 l36:24百万张卡集群的电力与网络挑战及解决方案 了构建百万卡集群的力需求，指出可能需要立建站或利用核站等方法解大模用讨论张电独电电决规电问题提及了氧化池公司的高市值，暗示自在北美据中心建中的重要性。同，探了延电发电数设时讨园区间迟问，大模集群可通三五网支持不同用，且需直接接，通题认为规过层层络应园区间无链过globalrouter分配任即可。务 l39:55百万卡集群散热与算力分配策略探讨 百万卡集群的散解方案和算力分配展，指出在和水源充足的前提下，通模化对话围绕热决开电资过块设计可有效解散。于算力分配，多租模式和多模是主要消方式，一客用可能决热问题对强调户态训练纳单户应模大。介了提方式，鼓者提以深化。规过会议还绍问励参会问讨论 l43:24大模型推理技术与市场份额竞争优势分析 了大模型在音、理等域的优，尤其是讨论实时语视频处领势GPPU在推理段的高速行能力，但指出其阶运在构建KV cache等理段因存限制而表不佳。了大模型在解段的高效用力，以及如预处阶内现强调码阶应潜何技优化市份。同，介了提方式，鼓者通或网端与互。将术势转为场额时绍会议问励参会过电话络参动 l47:52 AI硬件成本回收与商业化挑战 对话围绕AI硬件成本回收周期及商化面的挑展，了业临战开讨论CS晶源成本、良品率生成本的影对产响，以及高、低存商化的在影。家指出，大型据中心建方如带宽内对业潜响专数设CSP和NCP通大客过预签户合同，通常在2.5至3年可回收成本，而内tokenfactory模式可能更快，约2.5年回本。内 l52:32超大规模AI算力集群芯片市场格局分析 了对话讨论NVIDIA、AMD以及自研芯片在超大模规AI算力集群中的市地位。场NVIDIA借其生凭态垄断和高毛利率占据主流，但价格昂。权贵AMD芯片在硬件性能上超越NVIDIA，但由于件生不足，于软态处候。自研芯片如竞争补状态AWS和Google的方案，通去除中商差价，性价比提升，未可能过间实现来对NVIDIA地位构成挑。战 l57:04推理与训练芯片在集群架构中的应用探讨 了在海外市上，如使用讨论场B300芯片，推理与可以共用同一套体系，但在由于芯片取限制训练国内获推理与需分行。海外训练开进B300芯片在推理效率上表优异，而因芯片短缺，需采用或其现国内则国产他低性能芯片行推理，致效率降低。在进导GPU自由件下，使用高端芯片行推理更，但条进为经济国内现需找替代方案以平衡成本与性能。状寻 l01:00:44 LPU机架采用情况与训练端趋势探讨 LPU机架是否被CSP采用及其与Sarah brass的力比，以及端特是大言模型和企竞争对训练别语业 用的未。目前，级应来趋势LPU机架的CSP采用情尚不明确，需一步研。大言模型方面，况进调语10万成新的技，但据量已接近极限，架构优化成新挑。企用尚起步段，亿参数为术门槛数质战业级训练应处阶未力巨大。来潜 l01:04:06 TPU与GPU效率对比及推理计算优化探讨 了谷歌讨论TPU与、英亚马逊伟达GPU在推理算效率上的差异，指出计TPU在算力分配、存速度和网储互方面表优秀，但可能不及英络联现伟达B系列。了强调HBM存和高并推理效率的影，建注内发对响议关存和网优化以提升整体效率。内络 l01:08:36 GPU与TPU在AI模型计算效率对比及优化策略探讨 了讨论GPU与TPU在不同模模型下的算效率，指出规计GPU的B系列和H系列在token生成速度上有明差异，而显TPU的效率受制于其不外售特性，以精确估。了件架构适配性及模型优提升则难评强调软调对算效率的重要性，提出了特定模型的优化策略，包括算子融合、计针对PD分离等方法，以期提高GPU利用率，性能最大化。实现 要点回顾 在构建万卡级AI集群时，物理基础设施面临的主要挑战是什么？ 构建万卡级AI集群，物理基施面的主要挑包括力和供，尤其是在美地，保因素时础设临战电电问题国区环也日益凸。据中心的构建需要考力利用率和网架构的限制，例如，使用英的英菲尼曼显数虑电络伟达IB网，程网最大支持千卡模。此外，据中心角度看，千卡集群是一理想的大小，络时单无线络规从数来个较为以2.5兆瓦IT用量的小型cluster基行展最合理。而底看，为础进扩为经济从层来无数个2.5兆瓦的小模不展形成万卡集群。其中，力是基施建中最重要的部分，尤其是在美，合适的域已块断扩电础设设国区经非常有限。 网络架构中，内部和外部网络如何分工以避免成为瓶颈？ 在网架构中，部和外部网的分工明确且清晰。在以络设计内络逻辑blackwell主的研究体系下，部为节点内的GPU之接通间连过NVlink和NVswitch，超出范通实现单个节点围则过NIC网卡与其它服器构成外务部接。整机柜面，部连层内72个GPU依然按照NVlink和NVswitch行部接，而外部接以光进内连连则纤主。种有助于提高整体网通效率，降低延，于大模型和推理至重要。为这设计络讯迟对训练关 AWS内部的芯片组合是如何构成的？是否存在单一芯片供应商垄断的情况？ 在AWS部，芯片合并未被一芯片供商完全。不同型的芯片如内组单应垄断类NVidia、TPU、AMD等共同存在，其中NVidia芯片占比大约60%，其次是AWS自研芯片占比约35%，AMD芯片占比约5%。表明这在成本省方面，节AWS采取了多元化芯片策略，以降低整体成本并提高效率。 大硅片芯片在AI应用中存在哪些局限性？ 大硅片芯片在某些特定景下有商用化的例，但场实从AI用的整体看，目前于商化早期段。其应来还处业阶主要缺在于存部分容量有限，相于点对内较B300每颗CPU自的带HBM3存容量（内288GB），服器务整芯片配颗仅备44GB存，限制了其在推理任中于大型模型重的存能力，于景内这务对权储对训练场来说，一局限性同明。这样显 在推理阶段，C2 plus芯片是否可以高效地完成整个推理过程，包括从profile到decode？ C2plus芯片在推理段确表出高的效率，尤其在解方面可能优于其他芯片。然而，它并不适合用阶实现较码于完成整推理流程，因其件生与个为软态NVIDIA和AMD相比存在差距，限制了其在大模用上的这规应发展，目前主要用于某些特定景或小用中。应场众应 关于server芯片，如TPU和AWS推出的整机柜服务，它们对未来云生态和业务会产生什么影响？ TPU等芯片及其相的关server版本，如AWS的整机柜，主要据安全有极高要求的客，例如针对对数户军工、行等。些客需要据保留在本地据中心以确保据安全。管如此，种本地版本的银这户将数数数尽这AI服在活性和便捷性上不如云端服，比如法方便地用其他服或快速展存量。而务灵务无调务扩储AWS推出的整机柜服旨在足特定景下的需求，与云端版本形成互。务则满场补 HBM在全球供应方面是否充足，以及其价格上涨对谷歌等大厂的影响如何？ HBM的全球供相有限，价格上了位，重影了其在推理段的性能表。管如此，像谷歌应对涨两数严响阶现尽的大厂通期定、付款等方式保障了这样过长协预HBM的供，并优先取集群的。不，供需失衡应获购货权过的仍然存在，反映出问题HBM在全球范的。围内紧张态势 如何实现长文本推理的“无限极”功能，目前的技术手段能否实现？ “限极”功能然目前尚未被明确，但通技手段可以部分。具体，在推理程中，文本无虽实现过术实现来说过当或歇，模型中果据（过长问题间时会将间结从热数HBM）卸到据（载温数CPU），再冷掉后存至储SSD或HDD，而接某种程度的“限”。另外，也可以通所有容向量据模从间实现无记忆过将问题内总结为数库来拟“限极”的效果，然在程中稀掉部分信息，但仍能足用体感上的限需求。无虽这个过会释满户无 10万张卡的集群是否会闲置，以及其商业运营和回报情况如何？ 在前市境下，当场环10万卡的集群若配置和性能合适，基本不置。市中存在张会闲场GPU服和务tokenfaction种商模式，其中两业GPU服每卡每小的价格大在务时约5.1美金左右，而tokenfaction是部署模则型后出售推理token。根据算，的算力集群在三年至少能保持测这样内20%以