AndrejKarpathy与ReinerPope关于MatX

Andrej Karpathy (@karpathy)随着对代币需求的浪潮即将来临，为大语言模型（LLMs ）精准调配底层内存与计算资源蕴藏着重大机遇。 根本且不易察觉的制约在于，由于芯片制造工艺，你会得到两种物理实现也截然不同的内存池：紧邻计算单元、速度极快但容量极低的；< Andrej Karpathy与Reiner Pope关于MatX LLM芯片的讨论 Andrej Karpathy (@karpathy)随着对代币需求的浪潮即将来临，为大语言模型（LLMs ）精准调配底层内存与计算资源蕴藏着重大机遇。 根本且不易察觉的制约在于，由于芯片制造工艺，你会得到两种物理实现也截然不同的内存池：紧邻计算单元、速度极快但容量极低的；容量极高但数据只能通过“细长吸管”缓慢传输的。 此外，架构细节（如脉动阵列）、数值处理等方面还存在诸多复杂考量。 设计最优物理基板，并在LLMs最高吞吐量工作流源头信息加微WUXL7713（推理预填充/解码、训练/微调等）中协调内存与计算，以实现最佳吞吐量/延迟/成本比，这或许是当今最具智力挑战性且回报最高的难题（参考英伟达4.6万亿美元市值）。 一切只为快速、廉价地获取海量代币。 可以说，当前最难同时实现的工作流（推理解码以及紧密智能体循环中的长代币上下文处理），恰恰是现有两大技术阵营（以HBM为核心的英伟达派与以SRAM为核心的Cerebras派）都难以兼顾的。 无论如何，MatX团队堪称A++级别，能参与其中我深感荣幸，并祝贺融资成功！Reiner Pope (@reinerpope)我们正在打造一款LLM芯片，其吞吐量远超其他任何芯片，同时还能实现最低延迟。 我们称之为。 MatX One芯片基于，这种结构既继承了大型脉动阵列闻名的高能效与面积效率优势，又能对灵活形态的小型矩阵实现高利用率。 该芯片融合了与。 这些要素，加上创新的数值处理方案，使其在LLMs上的吞吐量超越所有已公布系统，同时保持与SRAM优先设计相当的延迟水平。 更高的吞吐量与更低的延迟，让您的订阅费用能换取更智能、更迅捷的模型。 我们已完成，用于完成开发并快速扩大生产规模，预计在一年内实现流片。 本轮融资由华尔街最具科技洞察力的公司之一Jane Street，以及其创始人@leopoldasch撰写了关于AGI权威备忘录的Situational Awareness LP领投。 参与方包括@sparkcapital、@danielgross和@natfriedman的基金、@patrickc和@collision、@TriatomicCap、@HarpoonVentures、@karpathy、@dwarkesh_sp等。 我们也欢迎来自供应链各环节的投资者加入，包括Marvell和Alchip。 @Mike Gunter_和我创立MatX的初衷，是坚信最适合LLMs的芯片应当基于对LLMs需求及其未来发展的深刻理解，从第一性原理出发进行设计。 为了实现这样的芯片，我们愿意放弃小模型性能、低负载任务，甚至编程的便捷性。 我们现已组建起一支百人团队，成员们共同思考从学习率调度、Swing错误修复算法、到保护位/全入/出/位/粘滞位处理，再到盲连接技术等所有工作都在同一栋大楼里协同推进。 若您想助力我们架构、设计、开发并大规模部署更多代芯片产品，欢迎加入我们的行列。