7月17日凌晨,月之暗面正式发布了新一代大模型Kimi K3。 它带着2.8万亿参数、100万token上下文窗口、原生视觉理解以及一整套底层架构革新,以“全球首个开源3万亿级别模型”的身份强势登场。 在参数即智能上限的共识下,月之暗面的这一发布,不仅是一次模型迭代,更标志着我国人工智能模型发展迈出了新的一步。 Kimi K3的发布,恰逢大模型竞争驶入深水区的时间档口。 当单纯的Scaling Law开始遭遇边际效益挑战,当开源与闭源的路线之争愈发激烈,月之暗面用这样一个3万亿级别体量的庞然大物给出了自己的答案:用极致的规模、前沿的架构和鲜明的场景化能力,让智能再进一步。 这,不仅巩固了月之暗面在开源大模型领域的引领地位,也向整个赛道投射出清晰的新动向——模型竞争正在从能力比拼走向生产力重塑,一个新的梯队格局和路线图正在浮现。 Kimi K3,亮点满满 通过观察,不难发现,Kimi K3的升级绝非简单的参数量堆叠,而是一场从底层注意力机制到上层任务能力的系统革新。 读懂它的亮点,才能真正理解这2.8万亿参数背后的深意。 在基础架构层面,Kimi K3开创性地采用了Kimi Delta Attention(KDA)和注意力残差(Attention Residuals)双支柱设计,为大模型规模扩展提供了全新范式。 KDA是一种混合线性注意力机制,它为注意力的高效计算和长序列扩展奠定了根基,让模型在面对100万token的浩渺上下文时,依然能精准捕捉信息关联,避免传统注意力在超长距离下的衰减与低效。 而注意力残差并非简单地在各层均匀累积表示,而是有选择地跨深度检索表示,使得深层网络中的信息流动更加灵巧和富有层次。