Kimi 开源又双叒放大招了！

一个中间件，就能让 Kimi K2 的万亿模子参数干预"秒更期间"。

不仅支撑一次性把更新完的权重从一个节点同期发送给统统节点，还能已毕点对点动态更新。

网友也算是大长观念了，可谓往往咋舌。

底下让咱们一齐望望这个中间件到底是如何施展大作用的。

此中间件名为checkpoint-engine（查验点引擎），主要用于强化学习中的一个要道标准——在大言语模子推理过程中更新模子权重。

借助此组件，Kimi-K2 只需约 20 秒就可已毕在数千个 GPU 上更新 1 万亿参数。

与 Kimi k1. 5 雷同，K2 在同步强化学习熟练中经受了搀和共置架构，即熟练引擎和推理引擎部署在团结组责任节点上。

当一个引擎处于活跃责任气象时，另一个引擎会开释或卸载其 GPU 资源以以相助资源调配。

在每一次强化学习熟练迭代中，围聚式法规器会先调用推理引擎生成新的熟练数据，随后见知熟练引擎基于这些数据进行熟练，并将更新后的参数发送至推理引擎，供下一轮迭代使用。

因此，每个引擎齐针对高蒙胧量进行了深度优化。

可是，跟着模子范围推广至 K2 级别，引擎切换与故障收复的蔓延变得尤为显赫。

是以，商量团队想考如何才智更高效地更新模子参数？

率先，在 rollout 阶段，熟练引擎的参数会被卸载至 DRAM（动态马上存取存储器）中，因此启动熟练引擎仅需实施一次通俗的 H2D 数据传输。

但在这个过程中，启动推理引擎会濒临更大挑战，因为它必须从熟练引擎获取更新后的参数，而两者的分片范式并不相易。

商量团队又沟通到 K2 的范围及强盛的配置数目，使用网罗文献系统来再行切分并播送参数是不现实的。因为将系统支拨保抓在较低水平，所需的总带宽高达每秒数 PB（千万亿字节）。

在上述配景下，查验点引擎应时而生。

商量团队选拔在熟练节点上部署分手式查验点引擎来处置参数气象。

实施参数更新时，每个查验点责任节点先从熟练引擎获取土产货参数副本，然后将无缺参数集播送到统统查验点节点。

随后，推理引擎仅从查验点引擎中获取我方所需的参数分片即可。

为了支撑 1 万亿参数的模子更新，他们还选拔经受参数逐条更新的活水线面容，将内存占用降至最低。

表面上的 3 阶段活水线如下所示：

H2D 阶段：将最新权重的一个分片异步复制到 H2D 缓冲区；

播送阶段：一朝复制完成，该分片会被复制到其中一个 IPC 缓冲区，并播送到统统 GPU；

重载阶段：推理引擎同期从另一个 IPC 缓冲区加载参数。

但需着重的是，这种梦想的 3 阶段活水线当今尚未已毕，K2 应用的更通俗的两阶段有预备。

统统配置先进行一次同步的 H2D 传输；

播送和重载操作随后并行进行。

他们选拔将无缺参数集播送到通盘集群，而不沟通每个推理责任节点的具体切分心情。

天然这种面容传输的数据量会比表面最优有预备更多，但它不错简化系统联想，对熟练和推理引擎的侵入性更低。

商量团队合计，通过摒弃这极少眇小的支拨，已毕熟练引擎与推理引擎的十足解耦，大大简化了革新和测试经过。

除了上述问题外，像 Kimi K2 这样的大模子，优化启动技巧也至关蹙迫。

启动熟练引擎时，他们让每个熟练责任节点选拔性地从磁盘读取部分或不读取任何参数，并将必要参数播送至其他平等节点。

这样作念的预备是确保统统责任节点只需集体读取一次查验点，从而最大限制地减少华贵的磁盘 IO 支拨。

除此以外，由于推理引擎是闲隙副本，商量团队但愿幸免在它们之间引入稀奇的同步樊篱。

因此，他们选拔在启动阶段复用查验点引擎。

让查验点引擎先像熟练引擎启动时相似，集体从磁盘读取查验点，然后更新尚未启动化的推理引擎气象。

值得一提的是，通过运用有益的查验点引擎，系统还不错抵抗单点故障，因为某个推理副本不错闲隙重启，而无需与其他副本通讯。

这样一看，这一中间件真在 Kimi K2 中起了不小的作用呢。

参考蚁集：

[ 1 ] https://x.com/Kimi_Moonshot/status/1965785427530629243

[ 2 ] https://github.com/MoonshotAI/checkpoint-engine

[ 3 ] https://arxiv.org/abs/2507.20534

一键三连「点赞」「转发」「预防心」

接待在指摘区留住你的主见！

—  完  —

专属 AI 产物从业者的实名社群，只聊 AI 产物最落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」央求入群～

进群后，你将径直赢得：

  � � 最新最专科的 AI 产物信息及分析 � �  

  � �   不如期披发的热点产物内测码 � �

  � �   里面专属执行与专科商量 � �

� � 点亮星标 � �

科技前沿进展逐日见开yun体育网