已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源

量子位2025-03-10

字节对MoE模型训练成本再砍一刀，成本可节省40%！刚刚，豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节的万卡训练集群，在真实的生产环境中，累计帮助节省了数百万GPU小时。早前，豆包团队发布了新一代稀疏架构UltraMem，将模型推理成本砍掉 83%，此次，又开源了COMET，向模型训练成本出手。从技术理念上看，两者还可以结合使用，组成一套“砍价刀法”。...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/1102915628?lang=zh_CN&edition=full","thumbnail":"https://community-static.tradeup.com/news/3aaa58e158bb888817e8f52b9308dd02","is_english":false,"pubTime":"2025-03-10 20:50","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"1102915628","market":"sh","top_or_hot":-1,"title":"已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源","media":"量子位","content":"<div>\n<p>字节对MoE模型训练成本再砍一刀，成本可节省40%！刚刚，豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节的万卡训练集群，在真实的生产环境中，累计帮助节省了数百万GPU小时。早前，豆包团队发布了新一代稀疏架构UltraMem，将模型推理成本砍掉 83%，此次，又开源了COMET，向模型训练成本出手。从技术理念上看，两者还可以结合使用，组成一套“砍价刀法”。...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/HGETri4o7yG5efO0x44JYg?global_content=%7B%22promote_id%22%3A13766%2C%22sub_promote_id%22%3A29%7D\">网页链接</a>\n\n</div>\n","source":"lsy1569318700471","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-03-10 20:50 北京时间&nbsp;&nbsp;&nbsp;<a href=https://mp.weixin.qq.com/s/HGETri4o7yG5efO0x44JYg?global_content=%7B%22promote_id%22%3A13766%2C%22sub_promote_id%22%3A29%7D><strong>量子位</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>字节对MoE模型训练成本再砍一刀，成本可节省40%！刚刚，豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节的万卡训练集群，在真实的生产环境中，累计帮助节省了数百万GPU小时。早前，豆包团队发布了新一代稀疏架构UltraMem，将模型推理成本砍掉 83%，此次，又开源了COMET，向模型训练成本出手。从技术理念上看，两者还可以结合使用，组成一套“砍价刀法”。...</p>\n\n<a href=\"https://mp.weixin.qq.com/s/HGETri4o7yG5efO0x44JYg?global_content=%7B%22promote_id%22%3A13766%2C%22sub_promote_id%22%3A29%7D\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":null,"symbol_name":null,"start_time":0,"source_url":"https://mp.weixin.qq.com/s/HGETri4o7yG5efO0x44JYg?global_content=%7B%22promote_id%22%3A13766%2C%22sub_promote_id%22%3A29%7D","article_id":"1102915628","we_media_id":null,"thumbnails":["https://community-static.tradeup.com/news/3aaa58e158bb888817e8f52b9308dd02"],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=1102915628","pubTimestamp":1741611035,"columns":[],"sourceInfo":{"source_id":"lsy1569318700471","name":"量子位"},"weMediaInfo":null,"summary":"字节对MoE模型训练成本再砍一刀，成本可节省40%！COMET已应用于字节的万卡训练集群，在真实的生产环境中，累计帮助节省了数百万GPU小时。早前，豆包团队发布了新一代稀疏架构UltraMem，将模型推理成本砍掉 83%，此次，又开源了COMET，向模型训练成本出手。具体来看，COMET主要针对的是MoE模型在分布式训练中，仍存在大量通信开销的问题。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{},"translate_title":"Millions of GPU hours have been saved! Byte cuts MoE training costs again, and the core code is fully open source","themeId":null,"isJumpTheme":false,"ttsUrl":"https://static.tigerbbs.com/630d9c706b21c3948a1b3a21f50cc325","symbols_score_info":{},"content_text":"字节对MoE模型训练成本再砍一刀，成本可节省40%！刚刚，豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节的万卡训练集群，在真实的生产环境中，累计帮助节省了数百万GPU小时。早前，豆包团队发布了新一代稀疏架构UltraMem，将模型推理成本砍掉 83%，此次，又开源了COMET，向模型训练成本出手。从技术理念上看，两者还可以结合使用，组成一套“砍价刀法”。具体来看，COMET主要针对的是MoE模型在分布式训练中，仍存在大量通信开销的问题。COMET内部通过一套细粒度计算-通信折叠技术，并结合GPU资源的动态分配，极致压榨了MoE专家“摸鱼闲置”的时间，在大规模MoE的单个执行层上可提速1.96倍，端到到平均提速1.71倍。有趣的是，此前DeepSeek也专门针对MoE的通信瓶颈，开源了DualPipe+DeepEP方案，通过排布算子来掩盖通信开销。豆包团队则直接喊话，两种方案一起开挂，可能带来更大的提升空间。不过，COMET这种直接将计算-通信算子融合的方法，可以在MoE训练框架中像插件一样直接插拔使用，无需侵入性改动，部署更加方便、灵活，且支持业界绝大部分主流大模型。因简洁、高效的设计理念，该工作5/5/5/4高分入选了全球机器学习系统顶级会议 MLSys 2025，并被认为在实际的大规模生产环境中极具应用价值。接下来，详细看下COMET的技术解读。MoE紧迫的通信开销问题混合专家模型（MoE）通过稀疏激活机制突破了传统稠密模型（Dense Model）的计算瓶颈，然而，MoE的分布式训练仍面临一项严峻挑战：跨设备通信开销巨大。例如，Mixtral-8x7B模型在Megatron-LM框架中的通信时间占比可高达40%，严重制约了训练效率和成本。核心问题在于，MoE的专家网络分布在多个GPU上，每次计算需频繁执行Token分发与结果聚合，导致GPU计算资源大量闲置。因此，如何将通信隐藏到计算的过程中，提升模型训练效率、节省计算资源，成为了MoE系统优化的关键。1、通信隐藏到计算里？一种方案是将流水线调度与通信算子结合起来，即通过定制训练中流水线并行的调度方式，将不同microbatch的计算和通信进行重叠，例如DeepSeek的DualPipe。但是，这一方式会导致较大的显存开销，并需要对现有训练框架进行复杂的侵入性改动。其它MoE系统方案则是在microbatch内部采用了粗粒度的计算-通信流水线，将输入数据分割成「数据块」进行通信与计算的重叠。然而，这种粗粒度的重叠方式难以高效利用计算资源，且无法实现无缝的通信延迟隐藏，尤其在动态路由、异构硬件环境下，性能损失显著。因此，团队认为现有的系统级MoE解决方案仍面临两大困境：1）难以解决复杂的数据依赖MoE架构的稀疏特性导致计算和通信间的依赖动态且复杂。MoE会动态地将Token分配给不同专家，而传统的粗粒度矩阵分块方式，会导致GPU频繁等待远程数据，从而造成计算资源闲置。如图1所示，当专家0需要在紫色「数据块」中进行Tile-level的计算时，必须先通过Token-level的通信接收远程数据（TokenB），这种由于复杂数据依赖导致的计算-通信粒度上的错配，使得效率严重下滑。单层MoE模型示意图（专家分布在GPU0和GPU1两张卡上）2）难以消除计算-通信流水线气泡另一个问题是，现有方法无法精确控制计算任务和通信任务对硬件资源的使用，因而，也无法根据不同的模型结构和动态输入，来自适应地调整资源分配。这导致计算和通信无法实现无缝重叠，进而产生大量流水线气泡，增加了系统的延迟。因此，团队认为：解决MoE模型中计算与通信的粒度不匹配问题是实现两者高效重叠的关键，同时，还需要根据负载情况自适应调整通信和计算的资源分配，以进一步实现无缝重叠。2、COMET：最小化整体低延迟，提升性能COMET是一个针对MoE模型的通信优化系统，通过细粒度计算-通信重叠技术，助力大模型训练优化。团队分析发现，MoE架构包含两条不同的生产-消费流水线：「计算-通信流水线」和「通信-计算流水线」。如图2所示，数据在流水线中流动时，各流水线内的操作会通过一个共享缓冲区链接，该缓冲区被称作「共享张量」。COMET的设计结构基于此，COMET引入两项关键机制，以最小化整体延迟并提升流水线性能。1）共享张量依赖解析通过分解和重调度共享张量，解决通信与计算之间的粒度错配问题，实现细至单Token级的重叠。张量分解：将MoE层间传递的共享张量沿Token维度（M）或隐层维度（N）进行切割，使通信与计算的最小单元对齐。例如，在MoE第一层（Layer0，图3左）沿M维度分解，使通信和计算在M维度进行对齐；在MoE第二层（Layer1，图3右）沿N维度分解，细粒度传输Token结果，保证计算和通信的高效重叠。COMET对共享张量进行依赖解析和分解计算重调度：为了更好地隐藏计算与通信的延迟，COMET会动态调整数据块的计算顺序。例如，优先计算本地数据块，同时异步拉取远程Token。当某个专家需处理Token A（本地）和Token B（远程）时，系统会优先启动Token A的计算线程，并与Token B的通信线程并行执行，从而消除等待延迟。COMET在MoE layer0中分解并重新调度共享张量2）自适应负载分配动态分配GPU线程块资源，精准平衡通信与计算负载，消除流水线气泡。线程块隔离：将通信与计算任务分别封装在独立线程块中，避免远程I/O阻塞计算核心。在Nvidia Hopper架构中，计算线程块专用于执行异步TMA指令的GEMM运算，通信线程块通过NVSHMEM实现单Token级数据传输，这种设计赋予了系统在算子级别进行资源管理的能力。COMET的计算/通信线程块隔离设计动态负载平衡：根据输入规模（如Token长度M）、并行策略（EP/TP比例）实时调整线程块分配。如图6所示，当TP=8、EP=1时，通信线程块占所有线程块的比例为19.7%，而在TP=4、EP=2时，该比例需提升至34.8%，系统通过预编译多个版本的计算-通信融合算子实现在运行时的「零开销」算子动态切换，并始终提供低延迟的算子。单个MoE层使用不同数量的通信线程块的时延结果3、大规模落地验证团队在多个大规模MoE模型中评估了COMET的端到端性能。结果表明，COMET在8卡H800的实验集群中，端到端MoE模型（Mixtral-8x7B、Qwen2-MoE等）的前向时延较其他基线系统可降低31.8%-44.4%，且在不同并行策略、输入规模及硬件环境下均表现稳定。COMET在多个端到端MoE模型中的测评结果在单个MoE层上，当输入Token数量不同的情况下，COMET的执行时间均显著短于基线方案，平均实现了1.28倍到2.37倍的速度提升COMET在单个MoE层不同输入Token长度下的延迟情况目前，COMET已实际应用于万卡级生产集群，助力MoE模型高效训练，并已累计节省数百万GPU小时。该工作在MLSys 2025会议获得5/5/5/4的评审高分，并被认为在大规模生产环境中极具应用潜力。具体表现为：强鲁棒性：COMET采用的细粒度计算-通信重叠方案即使在专家负载不均衡的场景下，也能保持低于其它基线系统的延迟，具有较好的鲁棒性；强泛化能力：COMET在NVLink与PCIe等不同网络环境下均能提供稳定的加速比；在使用不同并行策略时均能生成低时延算子，以供大规模训练框架使用。4、核心代码开源COMET包含约1.2万行C++和CUDA代码，以及2千行Python代码，并向开发者提供了一套友好的Python API。COMET 开源页面此外，COMET建立了面向MoE的细粒度流水线编程范式，通过深度融合NVSHMEM通信库与CUTLASS高效计算算子，实现了通信操作与GEMM计算的算子内融合。例如，MoE Layer 1的GEMM计算与Token聚合通信可在单一GPU算子内完成。这与此前提到的Deepseek DualPipe+DeepEP方案并不冲突，两者结合或将带来更好的优化空间。此外，COMET可直接接入已有的MoE训练框架，支持TP/EP/EP+TP多种并行模式，并提供了灵活的插拔式部署方案。目前，COMET核心代码已开源，并计划兼容Triton等编译生态。","kind":"news","is_publish_news":false,"is_publish_highlight":true,"is_publish_live":false,"is_publish_wemedia":false,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":0,"need_auth":false,"need_login_tip":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":2,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"isLaohu8Offline":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.44.1","shortVersion":"4.44.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/1102915628?edition=full&lang=zh_CN","isCrawlerRequest":true}