GPU 买了那么多，跑起来却像「堵车」？

剪辑｜郑玄

最近两年，AI 行业最热的词一直绕不开「算力」。

从大模子查考，到本年 Agent 的火热，再到各家云厂商束缚扩建智算中心，行业辩论最多的，险些都是 GPU、芯片和算力边界。大约只须卡够多，AI 就能继续往前跑。

但实践并不是。

不少作念大模子查考和推理的东说念主，一经越来越显明地感受到另一层问题：机器越来越贵，GPU 越来越强，但模子查考和推理的成果，却莫得同步擢升。

问题不一定出在算力自己，而可能出在另一件永恒被苛刻的事情上——网力。

平头哥居品总监李旭慧打了个譬如：「要是把算力比作 AI 期间的石油，网力即是输油管说念。算力提供能源，网力保险成果。」

4 月 28 日，在数字中国开发峰会上，平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡，最大扶助 400Gbps 蒙胧带宽，可应用于万卡智算集群、通算集群和高性能存储等场景，咫尺一经量产，并将率先部署在阿里云数据中心。

磐脉 920 想要措置的即是「网力」问题。

今天的大模子查考，一个查考任务，时常需要几千甚而上万张 GPU 同期合营。单张 GPU 性能再强，也必须跟所有集群保握同步。

问题在于，只须其中一部分节点慢下来，其他节点就只可恭候。他不雅察到，咫尺行业里好多万卡级智算集群，GPU 内容欺诈率较低，「能作念到 60%，一经算行业顶尖水平。」

当年行业更容易良善「有若干卡」，但内容在 AI 查科场景中，系统运行成果并不是由最强的硬件决定，而是受限于集群里最慢的阿谁节点。「进步节点的算力会握续闲置恭候，酿成大边界算力蹧跶。」

磐脉 920 的发布内容上也指明了一个场地：当 GPU 一经敷裕强之后，下一步到底该补那里。

一张网卡，周转所有智算集群

当 AI 智能体启动进入真确业务场景，推理业务的占比越来越高。

「在 Agent 应用爆发的布景下，推理业务的增长速率显耀快于查考。」李旭慧示意。

大模子查考强调强同步，而推理濒临的是广泛突发、小包、高频申请，对低时延和踏实性的要求更高，这也意味着对「网力」的要求更高。

而抽象一下磐脉 920 在作念的事，即是尽量减少整系统里的「堵」和「等」，通过网力的擢升来开释 AI 算力。

其背后的已矣旨趣，有三个要津。

当先是扶助多旅途 RDMA，冲突单一都径的局限。

平常理会，即是原来只可走一条高速，当今变成多条路同期分流。更要津的是，这些数据天然分开走，但最终还能按规则准确拼纪念。

李旭慧阐明，磐脉 920 通过扶助逐包喷洒、乱序接管和选拔性重传，已矣 RDMA 多旅途。

从散伙来看，这套决议带来的改善相比平直。

按照官方实测，磐脉 920 扶助单 QP 打满 400G 带宽，而同类主流居品带宽梗概只好其一半。同期，多旅途智力不错把交换机端口缓冲区水线诬捏 90%，减少丢包和重传。

第二个要津狡计，是把「绕路」变成「直连」。

磐脉 920 最大的亮点之一，是内置 PCIe Switch。这亦然国内首个作念到这少许的 400G 智能网卡。

传统干事器架构里，尊龙凯时中国官网入口PCIe Switch 正常部署在主板上，数据需要绕多个节点转发。散伙即是，有的旅途长，有的旅途短，时延不一致。

关于需要高度同步的 AI 查考任务来说，这种「不整都」会平直影响成果。

李旭慧打了个譬如：传统架构里，正常会出现「四个下行通说念挤一个上行通说念」的情况。

这很像四条岔路同期汇入一条骨干说念，堵塞险些不能幸免。

磐脉 920 把 PCIe Switch 平直集成进芯片里面，让网卡与 CPU、GPU 形成更平直的贯穿相关。

少绕路，意味着更低时延；旅途更和谐，则意味着更踏实的同步成果。

字据平头哥实测，在相通集群边界和任务条款下，部署磐脉 920 后，大模子查考和推理任务完成时候可裁减 14%。

第三个要津，是让汇集具备我方判断的智力。

传统网卡更多像搬运工。收到数据，搬当年，仅此辛苦。

据了解，磐脉 920 加入了细粒度汇集感知和可编程拥塞物化智力。直白讲，即是它能主动避堵。让汇集启动从被迫传输，变成主动蜕变。

关于越来越复杂的 AI 集群来说，这种智力的盛大性会越来越显明。

从这些狡计能看出来，磐脉 920 并不是在追求参数上的浮松擢升，它作念的事情很求实，让一经很贵的算力，少蹧跶少许，从而引发最大的潜能。

为何是阿里在界说 AI 基础步伐？

除了性能自己，磐脉 920 背后更值得良善的，是平头哥和阿里的合座布局。

当年几年，好多公司作念芯片，时常辘集在单一才能，比如 GPU、AI 加快卡或者 CPU。

但平头哥的念念路是作念全栈。

咫尺，平头哥一经形成四条居品线：真武系列 AI 芯片、倚天干事器 CPU、镇岳存储主控芯片，以及此次发布的磐脉系列智能网卡。

对应的，正巧是数据中心里的几个要津才能：算力、存力和网力。

李旭慧在采访中示意：「单一芯片居品无法措置全链路问题，只好买通算力、存力、网力，才能最大化开释 AI 硬件性能。」

这亦然平头哥和好多单点芯片公司的差异。它不是只作念一块性能更强的芯片，而是试图从所有系统角度去看问题。

好多芯片公司作念居品，先作念出来，再去找客户和落地场景。

但平头哥不是。

李旭慧告诉极客公园，磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断，翌日 AI 一定会鼓动数据中心汇集智力升级。

「一线业务场景的内容需求，是芯片工夫迭代与居品优化的中枢驱能源。」先有阿里云的大边界业务场景，再从内容场景需求里倒推居品界说。

这即是磐脉 920 的生意旅途。据披露，和平头哥倚天、真武、镇岳系列芯片相似，它会先部署在阿里云数据中心。

从这个角度看，磐脉 920 的发布，自己即是阿里「通云哥」协同智力的一次体现。

通义肃肃模子，阿里云肃肃场景，平头哥肃肃底层硬件。模子需求鼓动云基础步伐升级，云场景又反向鼓动芯片演进。

这种全栈自研的闭环，在国内科技公司里并未几见。「通云哥」的口头天然前期插足大、周期长，但一朝走通，护城河也极深。

AI 竞争走到今天，比拼的一经不是单点智力，而是这一整套系统能否顺畅运转。

跟着 AI 越来越多从查考走向推理，模子、云与芯片之间形成的握续反应轮回，合座上风的显现可能才刚刚启动。

* 头图着手：平头哥

极客一问

你奈何看待「磐脉 920」？尊龙凯时(中国)