开源了权重，没开源产生权重的 “流水线”。
访谈丨程曼祺
整理丨实习生付自文
7 月 27 日，Kimi 公开了 K3 的完整权重和技术报告。这是首个接近 3T 规模的开放权重（开源）模型：总参数量 2.8T，激活参数 104B，支持原生多模态和百万上下文。
本期《晚点聊 LateTalk》邀请 RadixArk 创始成员赵晨阳和华盛顿大学博士生曾致远，从推理与算法两条线拆解 K3：它真的比肩 Fable 5 吗？3T 模型规模、“线性-全局混合注意力” 等改进意味着什么？开源厂商们无法开源的竞争力是什么？
我们也延展讨论了 K3 在美国 AI 界和更广泛的投资市场引起的巨大关注，以及与 K3 直接相关的开源大辩论。
赵晨阳此前曾在《晚点聊》163 期节目中，从 Infra 角度解读了 DeepSeek-V4。在 UCLA 读博期间，他成为开源推理框架社区 SGLang 的核心开发者。SGLang 第一时间适配了 DeepSeek-V4、GLM-5.2、K3 等中国开源模型。
曾致远目前在华盛顿大学读博士二年级，研究大语言模型，师从 Hannaneh Hajishirzi 教授和 Pang Wei Koh 助理教授。
*欢迎对 Kimi K3，DeepSeek V4，GLM 5.2 等领先模型有推理需求的从业者联系赵晨阳（微信号：LoveDeathAndLLM），对 SGLang 项目提出反馈。
使用体感、开源之辨、Transformer 的 “忒修斯之船”
晚点：在讨论具体技术前，我们照例聊一些相对宏观的问题，方便大家进入。两位可以先讲讲自己使用 K3 的感受？
曾致远：K3 在多数场景下的体验与 Claude Opus 4.8 相当，部分任务更好，在 Agent 框架中持续执行复杂的长程任务，不易跑偏，最终交付质量较高。不过响应偏慢，期待及时反馈的用户的体验不够好；此外，面对复杂任务中的模糊信息，它有时会直接替用户做决定，但我偏向是先与用户探讨再行动。
赵晨阳：K3 发布后，我的朋友圈里流传起一个用 K3 复刻的叫 “K399” 的小游戏合集，非常有小的时候的味道。我们团队也用 K3 做了一款仿 Chrome 离线恐龙跳仙人掌的游戏，主角换成 SGLang Girl，终点设置成我们当时达到的推理优化成果：单请求解码速度 423 token 每秒，当然，现在这个数又大幅提升了。
晚点：大家普遍反馈 K3 的前端能力很好。K3 一度登顶 Frontend Code Arena（一个前端开发模型评测榜单，通过匿名的两两对比投票评价模型生成的网页和应用），超过 Claude Fable 5。一个模型在某项能力上表现突出，主要是什么原因？
曾致远：直接的原因是评测和数据。模型团队通常会为特定领域建立评测，在预训练、SFT（监督微调）和强化学习等阶段针对性补充训练数据与任务。K3 在预训练中扩大了代码与渲染图像配对的多模态数据，后训练又加入网页开发任务。它还是一个原生多模态模型，在他们技术报告里描述的 “Vision-in-the-Loop 流程”，能训练写代码、查看页面截图，再根据视觉反馈反复修改的链路，这些设计共同强化了它的前端能力。
晚点：你们身边的人对 K3 还有哪些评价？
曾致远：最近开源技术报告的架构和预训练写得越来越清楚，后训练细节反而越来越少，K3 的报告也是如此。这一方面说明，架构设计与规模化预训练的重要性没有下降。另一方面，不少人应该还是希望后训练也可以有更多信息。
晚点：K3 发布后，美国科技界围绕开源展开了激烈辩论。7 月 24 日，英伟达、微软等五十多家公司，也包括晨阳所在的公司 RadixArk，联合发布了一封公开信《开放权重模型与美国领导力》，呼吁避免过早限制开源模型。黄仁勋在 X 上发的第一条推文就是转发这封信。OpenAI 也表态支持，但没有签名；Amazon 和 Anthropic 则完全缺席。不过 Anthropic 随后表示不反对开源模型，但主张限制大规模蒸馏，并对高能力模型实施强制安全测试。为什么 K3 会引发如此强烈、甚至近乎恐慌的反应？（注：截至本稿发布日期，OpenAI 和 Amazon 已在签署名单中，Anthropic 仍未签署。）
赵晨阳：表面上争论的是开源与闭源，核心其实是争论哪一种模式更安全。几天前 OpenAI 的新模型评测时就曾突破隔离环境，入侵了 Hugging Face 的服务器，尝试直接获得答案。这说明高能力模型会主动寻找规则和环境中的漏洞；一旦被恶意利用，可能带来严重的网络安全风险。
前沿智能应该掌握在少数机构手中，还是在有限管理下向更多人开放？这个问题没有简单答案，可能需要类似核不扩散机制的国际治理框架。
晚点：你们公司的立场是支持开源模型的？
赵晨阳：大多数人倾向于在有限管理下持续分享前沿模型，但我个人不赞成把所有事情都开放出去。
晚点：很多人认为，K3 为代表的开源模型进一步逼近闭源前沿，这会冲击 OpenAI、Anthropic 等前沿实验室的估值。美国业界有这种讨论吗？
曾致远：确实有一种情形是，未来企业使用 Coding Agent 时，可能不愿把内部数据交给第三方闭源模型。如果开放权重模型本身，或它经过针对性微调后能满足需求，企业又有私有化部署的条件，就可能转向开源模型。
晚点：其实这已经发生了。Fireworks AI 等公司会帮助企业部署开源模型，一些大型客户也在考虑自建算力，因为部分场景下比使用云服务更划算。另一种观点是，K3 仍然属于 Transformer 路线，可能冲击那些试图在主流架构之外寻找新 AGI 路径的实验室。这是否说明老老实实做 Transformer 的模型，其实上升空间还挺大？
赵晨阳：我觉得这个世界上不存在 “老老实实做 Transformer” 这回事。这次 K3 混合使用 KDA 线性注意力和 MLA 全局注意力，用 Attention Residuals 改造残差连接，FFN（前馈神经网络）采用稀疏专家，甚至基本取消了显式位置编码。这些部件早已不是 2017 年的原装 Transformer。
所以与其说 Transformer 还有空间，不如说 Attention 已经成为一种接口：信息如何混合、残差如何连接、FFN 采用什么结构，都可以重新组合。它像 “忒修斯之船”，甲板和龙骨不断被替换，船名却保留下来。
这可能让试图用全新架构推翻 Transformer 的研究者失望，但好处是新组件可以迅速进入主流模型。KDA 从 Kimi Linear 论文提出到被用于 K3，不到一年。技术只要有效，就不必等待整个新范式出现。
晚点：最近的一个讨论是，Fable 5、Opus 5 和 K3 的进展，让一些人认为模型已经可以参与生产高质量数据，再让下一代模型变得更强。这条 “自我改进” 的线真被跨过了吗？
曾致远：这个过程是逐渐发生的，而不是从 0 到 1 的跳变。随着模型能力提升，Agent 可以承担越来越多的数据生产工作，包括检索资料、合成和筛选样本、搭建强化学习环境、运行评测以及分析失败案例。
人的角色也会从规定每一步怎么做，转向定义上层目标、约束和验收标准。尤其是 OpenAI、Anthropic 等前沿实验室内部的研究员，可以接触到最前沿的模型，他们的闭环程度会不断提高。
赵晨阳：K3 技术报告里有一个直接的例子，K3 的早期 checkpoint（模型训练到某个阶段时保存下来的参数状态，这里可以简单理解为早期版本的模型）已经可以参与 kernel（直接在 GPU 上执行的底层计算程序）开发，这也能帮助后面的训练。
在推理领域，我们把这类系统也叫 KDA，Kernel Development Agent（K3 用的注意力机制 Kimi Delta Attention 的缩写也是 KDA）。相关任务从单算子优化到巨型算子的融合，涉及 CUDA、Triton、ThunderKittens 等流派，以及 BF16、FP8、FP4 等数值格式。（注：CUDA、Triton、ThunderKittens 均为开发高性能 GPU 算子的工具或编程方式；BF16、FP8、FP4 为位宽依次降低的数值格式，位宽越低，通常越节省计算和显存资源）
它的奖励设计有两层。首先每个 kernel 有一个 PyTorch（由 Meta 开源的深度学习框架）基准版本作为性能底线，也用于检查正确性。如果模型写出的 kernel 数值误差超过阈值，直接记零分。再和专家写的高性能 kernel 比较，模型实现越接近硬件性能上限，奖励就越高。
他们也会惩罚作弊行为，比如恶意重放 CUDA Graph（将一组 GPU 操作提前记录下来并重复执行，以减少调度开销），或者通过缓存输入输出来 “打表”。最后的效果很好。我们团队也有顶尖的 kernel 工程师在尝试做这样的事。
Kernel 开发很适合形成 RSI（递归自我改进），因为它有三个特点：
奖励准确且便宜；
性能和正确性容易验证；
作弊方式也有限。
因此，在有明确验证的领域，模型已经可以在清晰边界内不断提升。但这还不能说整个模型训练开始了广义的 “自我进化”。
更广泛的 RSI 仍然很难。现在缺少的不完全是模型能力，也包括 evaluation 和 harness。2025 年数学和编程进步很快，一个重要原因就是这两个领域相对容易评估。但编程任务也在变难，过去可能只是写一个小函数，现在可能要在大型代码仓库里开发新功能，这类任务很难评估，所以编程的进步速度也可能放缓。
晚点：K3 没有延续此前中国模型追求极致性价比的路线，大家主要吐槽它贵、响应慢，我接触的不少应用公司没有迅速接入 K3。它慢主要是因为算力紧张吗？
赵晨阳：新模型刚发布时，serving stack（模型在线推理和对外提供服务所需的一整套软件系统）还需要持续优化，会暂时 “又贵又慢”。但我认为 K3 目前的价格和速度仍在合理范围，尤其是价格并不差。
在 Agent 场景中，成本有两个计算口径：每百万 token 的单价，以及完成单个任务的总成本。对于复杂的长程任务，后者更有意义。不同模型完成同一个任务消耗的 token 可能相差数倍，便宜的模型如果不断绕路，最终反而更贵。
K3 技术报告显示，在 Kimi Code Bench 2.0（Kimi 内部用于评测 Coding Agent 完成端到端软件工程任务能力的 benchmark）上，K3 的得分比 Claude Fable 5 低 4 分，但成本只有后者的 38%；K3 在 high effort 档位已经追平 Claude Opus 4.8 的 maximum effort，成本约为其三分之一。在 BrowseComp（用于评测模型通过浏览、检索和推理寻找复杂信息能力的 benchmark）上，它的单任务成本也相对较低。因此仅从官方 API 来看，我认为 K3 的性价比很好；如果自行部署，那要把存储、电力和水冷等成本算进去，就很难简单比较了。（注：K3 官方 API 的价格是：缓存命中的输入每百万 token 0.3 美元，未命中为 3 美元，输出为 15 美元。相比之下，DeepSeek-V4-Pro 分别约为 0.004 美元、0.44 美元和 0.87 美元）
关于慢的问题，一方面，现在还没有足够多的应用真正需要 K3 这种规模的智能。另一方面，模型刚发布时的速度，更多反映架构有多新、serving stack 有多难适配，而不一定代表架构本身就慢。Kimi 这样的顶尖模型团队在设计时已经考虑了训练和推理效率，后续通常可以通过工程优化把成本和延迟降下来。
推理体验通常有三个指标：一是首 token 延迟，也就是发出请求后多久开始返回内容；二是 decode 速度，也就是开始回复后生成 token 的快慢；三是队列等待时间，因为后台同时可能有大量请求。
首 token 延迟很大程度上取决于前缀复用，而不只是算力。K3 报告举例说，一个典型 Coding 请求可能包含 40 万 token 的已有前缀，而本轮新增内容只有 4000 token。缓存命中后就不必重新计算前面的 40 万 token，因此成本和首 token 延迟都可能相差几个数量级。
但 K3 的 KDA–MLA 混合架构也让前缀复用变得更复杂。传统 KV Cache（键值缓存，保存 Attention 处理历史 token 时产生的中间结果，避免生成新 token 时重复计算）像只往后写的笔记本，已经计算好的前缀不会改变；KDA 则维护固定大小的 recurrent state（循环状态），每处理一个 token 都会反复更新，像不断擦写的白板，多个请求要共享它就更困难。
这里 K3 的方案是把前缀的哈希粒度和物理块的分配粒度解耦，把前缀切成较小的片段进行管理。SGLang 也借鉴设计了三种操作：需要修改时先复制一份，关键位置保存状态，用完后再把更新后的状态交给缓存继续复用。具体实现比较深入，感兴趣的朋友可以参考 SGLang 团队的技术博客。
晚点：就美国一些限制开源的讨论，从技术上看，已经开放的模型还有可能被限制吗？
赵晨阳：模型权重一旦发布，会被大量复制、建立镜像，还会被量化、微调，产生越来越多的衍生版本。因此，政策可以限制未来的发布和传播，但没有办法 “下架” 已经流出的模型。
晚点：随着开源模型逐渐逼近闭源模型，会不会有团队在模型足够强之后转向闭源？
赵晨阳：“开放模型逼近闭源模型” 本身很难衡量，因为模型只是 AI 产业链的一部分，上游还有数据和硬件，下游还有推理和分发渠道。而且权重本身在产业链中的比重正在下降。
K3 开放了权重，也开放了 MoonEP（Kimi 为超大规模 MoE 模型训练开发的专家并行系统）、FlashKDA（KDA 注意力机制的高性能算子实现）、AgentENV（面向 AI Agent 的隔离运行环境） 等基础设施。但没有开放强化学习环境、用于生成任务的知识图谱系统，以及合并前的专家 checkpoint。这没有问题，行业里很少有公司会开放强化学习环境，其中也可能涉及安全风险。
这些没有开放的部分是公司的深层护城河。全世界可以获得 K3 这一代的智能，但没有得到如何造出下一代模型的完整流水线。
开放权重缩小了这代开放模型和闭源模型的能力差距，但不一定能缩小双方的迭代速度差距。模型迭代还需要环境、验证和算力，这些都超出了权重本身。
晚点：开放权重还有一个弊端，用户自行部署后不再使用官方 API，数据无法回传。OpenAI、Anthropic 等闭源公司则可以通过 API 和自有应用，获得大量真实用户的高质量 prompt。
曾致远：美国一些前沿实验室能把 Coding Agent 做好，一个关键就是建立了用户数据飞轮。对于算力有限的国内公司来说，不开放权重，也很难仅靠自己的算力承接海量推理请求。不过，即使权重开放了，目前有条件部署 3T 模型的机构仍然很少。
晚点：总结而言，K3 是一个怎样的成果？
曾致远：K3 是首个接近 3T 级别的开放权重模型。开源模型从数百 B，发展到 1T，再到今天的 3T 级别，是令人振奋的进展。
注意力机制改进：线性注意力首次被用到这么大的模型上
晚点：K3 在架构上的整体思路和亮点是什么？
曾致远：K3 的整体思路，是让信息在序列和深度方向上更高效地流动。序列方向采用 KDA（Kimi Delta Attention，一种 Kimi 去年秋天提出的线性注意力机制） 和 Gated MLA（带门控的多头潜在注意力，多头潜在注意力通过压缩键值表示降低缓存和推理成本）组成的混合注意力：大部分层用低成本的 KDA 处理上下文，周期性加入全局注意力。深度方向采用 Attention Residuals（注意力残差，Kimi 今年春天提出的一种残差连接改进），让后层可以选择性读取前面层的表示。
我比较关注的亮点是 NoPE，就是不使用显式位置编码。同期的 DeepSeek-V4、GLM-5.2、MiniMax M3 都还保留了部分的 RoPE（旋转位置编码）。当然模型仍然知道 token 的顺序，因为 KDA 在更新 recurrent state 时，gating（门控）和 decay（衰减）本身就对顺序敏感，能够隐式编码位置信息和信息新旧程度。
训练百万上下文模型时，通常会逐步扩展上下文长度。K3 先从 8K 扩到 64K，再在后期扩到 256K 和 1M。NoPE 的好处是，扩展上下文时不需要重新调整 RoPE 的参数或进行插值。这个设计在 Kimi Linear（Kimi 于 2025 年 10 月发布的混合线性注意力架构及实验模型，总参数 48B、激活参数 3B，以 3∶1 的比例混合 KDA 与全局 MLA，并采用 NoPE，支持 100 万 token 上下文）已经采用过，K3 的突破在于把它扩展到接近 3T 的模型，并支持 100 万 token 上下文。
晚点：K3 仍然是一个 MoE 模型，其中很重要的问题是路由专家的分配。kimi 自己说他们提出的 Quantile Balancing 解决了 MoE 大规模训练不稳定的问题。它是不是 K3 能够接近 3T 的关键之一？
曾致远：本质上它解决的是专家负载均衡问题。MoE 模型中，每个 token 只会选择一部分路由专家激活，但整体上，最好各个专家被选中的频率大致均衡。否则，一些专家得不到足够的 token 和梯度，训练不充分，无法发挥这部分参数的容量；另一些专家接收的 token 太多，也会给基础设施带来压力。
早期普遍的做法是在 MoE 的损失函数中加入额外的负载均衡指标，鼓励不同专家被更均匀地选中。这个方法整体有效，但需要在模型质量和负载均衡之间做权衡，也容易成为训练不稳定的原因。
DeepSeek-V3 的一个重要改进，是把主要的负载均衡换成偏置更新的方法。Router 会先给各个专家打分，并在分数上额外加一个偏置，再根据分数选择专家，专家过热就降低偏置，过冷就提高偏置。这个偏置只影响专家选择，不改变原来的训练目标。但 DeepSeek-V3 对偏置采用固定步长更新。每一步只判断专家是过热还是过冷，再按照固定幅度向上或向下调整，因此仍然需要设置步长这个超参数（训练开始前由研究人员设定、而不是由模型自动学习的参数）。
K3 的 Quantile Balancing 则直接根据分数的分布，估算偏置应该调整多少。K3 每个 token 要从 896 个路由专家中选择 16 个，因此可以把加上当前偏置后排名第 17 的分数，看作进入前 16 名的门槛。
对于某一个专家，可以观察它在整批中距离每个 token 的门槛还差多少。偏置越大，它能够跨过的门槛就越多。系统据此直接计算新的偏置，使这个专家大约能被 16/896 的 token 选中，并从下一个训练步长开始使用。这样就不再需要设置固定的更新步长。
K3 接近 1000 个路由专家，每个 token 只选择 16 个，稀疏程度非常高，要稳定、快速地维持负载均衡也更加困难。所以我猜测，Quantile Balancing 应该是 K3 能够稳定扩展到接近 3T 的重要因素之一。
晚点：也就是说，DeepSeek-V3 的方法主要判断一个专家是过热还是过冷，但没有精细到量；K3 则会进一步判断过热或过冷的程度。
曾致远：DeepSeek 的思路更像是逐步调整；K3 是根据历史信息估计下一步的偏置量。两种方法各有优劣，最终还是要看实验效果。
晚点：前面提到了 K3 采用线性注意力和全局注意力混合的方式，而 DeepSeek-V4 是总体稀疏注意力优化路线。我觉得 K3 这次在接近 3T 规模上使用线性注意力，是比较激进的改进。他们如何平衡线性注意力的弊端？给业界带来了什么启发？
曾致远：这套混合架构此前他们已经在 Kimi Linear 上验证过了。当时的总参数量是 48B，而 K3 将其放大到接近 3T，总参数规模扩大了近 60 倍。结构上就是三层 KDA 搭配一层全局 MLA 的 3∶1 结构，以全局注意力弥补纯线性注意力在长距离检索上的局限。
此前约 400B 大小的 Qwen3.5，也采用了三层 Gated DeltaNet（添加门控衰减的线性注意力架构）搭配一层 Gated Attention 的 3∶1 设计。相比之下 DeepSeek-V4 没有使用线性注意力，而是在 Softmax Attention（Transformer 中常用的标准注意力机制）框架内，通过 KV 压缩和稀疏注意力（不再读取全部历史 token，而是只选择其中一部分参与注意力计算）的组合提高长上下文效率。
所以 K3 带来的启发是，不同注意力可以承担不同功能，不必把全局注意力和线性注意力理解为二选一。K3 证明了这种混合架构可以扩展到接近 3T 的前沿模型规模。
晚点：这个 3∶1 的比例是怎么决定的？去年我和 DeltaNet 的核心作者之一杨松琳聊过线性注意力，她当时说这个混合主要靠经验和实验，现在业界有了更多方法上的指导吗？
曾致远： 从公开资料看，比例仍然主要靠实验决定。Kimi Linear 是先在一个 16 层的小模型上比较不同配比。实验结果显示，3∶1 的 Perplexity（困惑度，用于衡量语言模型预测下一个 token 的能力）效果最好；1∶1 的验证效果几乎相同，但全局注意力更多，资源占用和推理成本也更高。因此 3∶1 在效果和效率之间取得了更好的平衡。
K3 基本沿用了这个比例，并在最后额外加入一层 Gated MLA，确保模型最后一层注意力是全局注意力。
不过技术报告里没有提到，Kimi 是否在更大规模上重新测试所有比例，因为这种实验成本非常高。模型团队通常会先在小模型上完成消融实验（逐一移除或替换某个模块，比较模型效果，从而判断该设计是否有效）和架构搜索，再通过 Scaling Law 验证整套架构和训练方案能否稳定放大。因此，3∶1 不一定是 3T 规模下绝对最优的比例，但它已经被验证可行。
晚点：K3 支持百万 token 上下文。线性注意力通常容易遗忘较早的信息，K3 怎么解决这个问题？
曾致远：这是线性注意力的一种取舍。它把任意长度的信息压缩进固定大小的 recurrent state，缓存和每一步的计算量不会随上下文长度持续增长；代价是不同信息会在有限的状态中互相干扰，较早、较细节的信息可能被覆盖，根源还是固定状态存在容量瓶颈。
KDA 用了一些方法来更好地管理这部分有限记忆。比如 Delta Rule：先看当前记忆已经能预测出什么，只把预测的偏差写进去；Channel-wise Forget Gate，让不同通道学习不同的信息保留时间。K3 还给 retention factor（保留系数）设置了下限，避免模型一次遗忘得过于激进。但这些设计只是更有效地管理有限记忆，不能从根本上消除容量瓶颈。经过很多步之后，信息仍然会衰减。
K3 真正缓解百万上下文遗忘问题的关键，还是混合注意力架构：每三层 KDA 加入一层 Gated MLA，模型最后一层也使用 MLA。MLA 可以直接关注所有历史 token，提供全局信息交互，因此不需要 KDA 把百万 token 的每个细节都保存在固定状态里。
题图来源：Lincoln - “Full Moon”
精彩评论