杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…

量子位2025-11-11

梦晨发自凹非寺量子位 | 公众号 QbitAIKimi K2 Thinking训练真的只花了460万美元？杨植麟亲自带队，月之暗面创始团队出面回应了。这不是官方数据。训练成本很难计算，因为其中很大一部分用于研究和实验。他们还透露训练使用了配备Infiniband的英伟达H800，GPU数量也比巨头的少，但充分利用了每一张卡。但不管怎样，Kimi K2模型凭借自身实力和低成本，正在硅谷引发一场“...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2582447363?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-11-11 19:11","share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","id":"2582447363","market":"fut","top_or_hot":-1,"title":"杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…","media":"量子位","content":"<div>\n<p>梦晨 发自 凹非寺量子位 | 公众号 QbitAIKimi K2 Thinking训练真的只花了460万美元？杨植麟亲自带队，月之暗面创始团队出面回应了。这不是官方数据。训练成本很难计算，因为其中很大一部分用于研究和实验。他们还透露训练使用了配备Infiniband的英伟达H800，GPU数量也比巨头的少，但充分利用了每一张卡。但不管怎样，Kimi K2模型凭借自身实力和低成本，正在硅谷引发一场“...</p>\n\n<a href=\"https://finance.sina.com.cn/roll/2025-11-11/doc-infwzrsa5744893.shtml\">网页链接</a>\n\n</div>\n","source":"sina","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-11-11 19:11 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/roll/2025-11-11/doc-infwzrsa5744893.shtml><strong>量子位</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>梦晨 发自 凹非寺量子位 | 公众号 QbitAIKimi K2 Thinking训练真的只花了460万美元？杨植麟亲自带队，月之暗面创始团队出面回应了。这不是官方数据。训练成本很难计算，因为其中很大一部分用于研究和实验。他们还透露训练使用了配备Infiniband的英伟达H800，GPU数量也比巨头的少，但充分利用了每一张卡。但不管怎样，Kimi K2模型凭借自身实力和低成本，正在硅谷引发一场“...</p>\n\n<a href=\"https://finance.sina.com.cn/roll/2025-11-11/doc-infwzrsa5744893.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"QAT","symbol_name":"iShares MSCI Qatar ETF","start_time":0,"source_url":"https://finance.sina.com.cn/roll/2025-11-11/doc-infwzrsa5744893.shtml","article_id":"2582447363","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2582447363","pubTimestamp":1762859460,"columns":[],"sourceInfo":{"source_id":"sina","name":"sina"},"weMediaInfo":null,"summary":"梦晨 发自 凹非寺量子位 | 公众号 QbitAIKimi K2 Thinking训练真的只花了460万美元？杨植麟亲自带队，月之暗面创始团队出面回应了。但不管怎样，Kimi K2模型凭借自身实力和低成本，正在硅谷引发一场“用脚投票”的迁移大潮。特别是Kimi K2 Thinking 被爆料只花了460万美元训练，比年初引发轰动的DeepSeek V3还要低。Kimi K2使用了团队自研的MuonClip优化器，能在训练过程中自动稳定梯度。","collect":0,"end_time":0,"defaultTopTitle":"sina.com.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"QAT":"iShares MSCI Qatar ETF"},"translate_title":"Yang Zhilin replied: H800 for Kimi K2 training! But \"it only cost $4.6 million\"...","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"QAT":1},"content_text":"梦晨 发自 凹非寺量子位 | 公众号 QbitAIKimi K2 Thinking训练真的只花了460万美元？杨植麟亲自带队，月之暗面创始团队出面回应了。这不是官方数据。训练成本很难计算，因为其中很大一部分用于研究和实验。他们还透露训练使用了配备Infiniband的英伟达H800，GPU数量也比巨头的少，但充分利用了每一张卡。但不管怎样，Kimi K2模型凭借自身实力和低成本，正在硅谷引发一场“用脚投票”的迁移大潮。投资人Chamath Palihapitiya透露他的新公司将AI负载迁移到Kimi K2，因为它性能更强，价格也便宜得多。云端开发平台Vercel CEO也分享了内部测试结果，称Kimi K2比闭源模型快5倍，准确率还高50%。Claude Code用户也在相互传授把模型改成Kimi K2的设置方法。特别是Kimi K2 Thinking 被爆料只花了460万美元训练，比年初引发轰动的DeepSeek V3（爆料约560万美元）还要低。先不论这个数字是否准确，总之是让硅谷陷入一阵反思。当免费或极低成本的开源模型能提供同等甚至更优的性能时，闭源巨头的高估值，还合理吗？也有另一面的舆论是：或者该重估月之暗面了。Kimi是如何做到的？技术社区的分析指出，Kimi K2 Thinking巧妙地继承并优化了现有开源成果，特别是在架构上与DeepSeek模型一脉相承。团队将MoE层的专家数量从DeepSeek的256个增加到384个以增强模型的知识容量，同时将每次推理激活的参数量从约370亿减少到320亿来降低推理成本。词汇表从129k扩大到160k，并减少了MoE之前的密集前馈网络块，进一步优化计算效率。更关键的是工程创新。Kimi K2使用了团队自研的MuonClip优化器，能在训练过程中自动稳定梯度。得益于此优化器，Kimi K2在长达15.5万亿token的训练过程中实现了”零训练崩溃”，无需人为干预重启，在资金和设备相对有限的情况下也能可靠地训练超大规模模型。模型还采用了量化感知训练（QAT）方案，实现了原生INT4精度推理。这种方法在训练阶段就让模型适应低精度环境，在大幅降低计算资源消耗、提升推理速度约2倍的同时，将性能损失降至最低。直面硅谷开发者，月之暗面团队首次公开”答疑”在此背景下，月之暗面团队在Reddit最活跃的AI社区LocalLLaMA进行了一场长达3小时的“回答一切”（Ask Me Anything）活动，吸引了近200条提问和数千条互动。答疑的三位主力是杨植麟、周昕宇和吴育昕——月之暗面的三位联合创始人，其中那个“4494”就是杨植麟。核心信息总结如下：当被问及下一代架构时，团队解释了最新实验性混合注意力机制KDA（Key-Dependent Attention）的优势，还透露有可能用在下一代K3中。在同等预训练和强化学习的条件下，采用NoPE MLA的KDA混合模型性能优于采用RoPE的完整MLA模型，不仅能获得更高的基准测试分数，而且速度更快、效率更高。历史上，混合注意力很难击败完全注意力，特别是在长输入和长输出任务上。KDA在各方面都显示出性能提升，包括长链思维的RL场景，同时保持了线性注意力的效率。相关想法很可能会在K3中采用。有关未来开发计划，团队还透露：很快就能体验到类似Claude Code的Kimi Code产品正在开发视觉语言（VL）模型，但VL数据的获取和训练需要时间，所以优选择发布文本模型之前尝试过1M上下文窗口，但当时的服务成本太高，未来会重新考虑更长的上下文窗口。承认目前K2 Thinking的思考过长、效率较低，下一版会把“简化思考过程”写进奖励函数。Q：为什么Kimi不像其他模型那样过度夸赞用户？团队解释这是整理数据时的刻意设计。Q：Kimi独特的写作风格从何而来？解释说这是预训练和后训练共同作用的结果：预训练编码了相关的先验知识，而后训练则添加了一些品味。看到不同的RL配方如何产生不同的口味是很有趣的。此外团队还无保留的回答了一些结束细节问题：最后，关于下一代K3何时到来，团队还开了个小玩笑：参考链接：[1]https://www.reddit.com/r/LocalLLaMA/comments/1oth5pw/ama_with_moonshot_ai_the_opensource_frontier_lab/\n\n\n海量资讯、精准解读，尽在新浪财经APP","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.35.13","shortVersion":"4.35.13","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2582447363","isCrawlerRequest":true}