Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了

市场资讯07-06

炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！面对扩散模型推理速度慢、成本高的问题，HKUST&北航&商汤提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。△HarmoniCa整体压缩框架由于现有指标并不能完全反映图像效果优劣，因此该团队研究人员提供了大量可视化效果对比图，更多对比请...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2549032734?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-07-06 18:27","share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","id":"2549032734","market":"us","top_or_hot":-1,"title":"Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了","media":"市场资讯","content":"<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 面对扩散模型推理速度慢、成本高的问题，HKUST&北航&商汤提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。△HarmoniCa整体压缩框架由于现有指标并不能完全反映图像效果优劣，因此该团队研究人员提供了大量可视化效果对比图，更多对比请...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-07-06/doc-infepsym7203818.shtml\">网页链接</a>\n\n</div>\n","source":"sina","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nDiffusion约2倍无损加速！训练-推理协同的缓存学习框架来了\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-07-06 18:27 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/stock/t/2025-07-06/doc-infepsym7203818.shtml><strong>市场资讯</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 面对扩散模型推理速度慢、成本高的问题，HKUST&北航&商汤提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。△HarmoniCa整体压缩框架由于现有指标并不能完全反映图像效果优劣，因此该团队研究人员提供了大量可视化效果对比图，更多对比请...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-07-06/doc-infepsym7203818.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK4225","symbol_name":"医疗保健房地产信托","start_time":0,"source_url":"https://finance.sina.com.cn/stock/t/2025-07-06/doc-infepsym7203818.shtml","article_id":"2549032734","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2549032734","pubTimestamp":1751797620,"columns":[],"sourceInfo":{"source_id":"sina","name":"sina"},"weMediaInfo":null,"summary":"面对扩散模型推理速度慢、成本高的问题，HKUST&北航&商汤提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。Diffusion Transformer作为高分辨率图像生成主力架构，在推理阶段仍面临“重复计算多”“耗时严重”的现实瓶颈。","collect":0,"end_time":0,"defaultTopTitle":"sina.com.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK4225":"医疗保健房地产信托","LTC":"LTC房产","BK4588":"碎股","BK4585":"ETF&股票定投概念","SDT":"SandRidge Mississippian Trust I","BK4203":"医疗保健房地产投资信托"},"translate_title":"Diffusion approximately 2x lossless acceleration! A cache learning framework for training-inference collaboration is here","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"SDT":1,"LTC":1},"content_text":"炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 面对扩散模型推理速度慢、成本高的问题，HKUST&北航&商汤提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。△HarmoniCa整体压缩框架由于现有指标并不能完全反映图像效果优劣，因此该团队研究人员提供了大量可视化效果对比图，更多对比请看原论文。△PIXART-图像生成效果图该工作已被ICML 2025接收为Poster，并开源项目代码。Diffusion 加速难在哪？Diffusion Transformer（DiT）作为高分辨率图像生成主力架构，在推理阶段仍面临“重复计算多”“耗时严重”的现实瓶颈。例如，使用PIXART-α生成一张2048×2048图像即需14秒，严重影响落地效率。近期“特征缓存（Feature Caching）”成为加速新思路，但已有方法普遍存在两大关键问题：前序时间步无感知：训练阶段忽略缓存历史，推理时则高度依赖先前结果，二者逻辑断裂；训练目标错位：训练对准中间噪声误差，推理关注最终图像质量，优化方向南辕北辙；这两大错配，导致已有缓存学习方法加速有限、图像失真明显。缓存机制的基本工作原理如下：△缓存机制HarmoniCa缓存学习框架一句话总结：目标一致、路径同步，训练与推理真正协同优化该工作提出的HarmoniCa框架通过两个关键机制，从根本上解决了以往学习型特征缓存方法中的训练-推理脱节问题：一、Step-Wise Denoising Training（SDT）逐步去噪训练，模拟推理全流程，误差不再层层积累。传统方法在训练时仅采样某个时间步，缓存是空的，完全跳过了“历史缓存影响”，而推理时，缓存是从头累积的，训练和推理根本不是一回事。进而该工作提出 SDT 来打破这一不一致：1）构建完整的 T 步去噪过程，与推理一致；2）教师-学生结构：学生使用缓存进行去噪，教师不使用缓存作为“理想输出”；3）每一时间步的Router都被独立更新，显式对齐多轮缓存路径下的输出误差；4）学生模型每步将自己的输出作为下一个输入，使得误差传播机制贴近真实推理轨迹。效果：SDT显著降低了时间步间误差积累，提升最终图像清晰度与稳定性。△SDT 有效抑制误差蔓延（红色为旧方法，蓝色为 SDT）二、Image Error Proxy Objective（IEPO）一句话总结：不是“中间好”，而是“最后图像好”，优化目标就是结果本身。以往方法训练时只对齐每一步的噪声误差，而推理的目标是最终图像质量，两者目标严重错配，导致缓存Router学出来“看似合理”但效果很差。该工作提出 IEPO 机制，核心思想是：通过代理项 λ(t) 来估算“使用缓存 vs 不使用缓存”在时间步 t 对最终图像 x₀ 的影响；越关键的时间步，其 λ(t) 越大，引导 Router 减少该步缓存复用，保留精度；每隔若干轮重新生成一批图像，动态更新 λ(t)，保证目标始终贴合训练状态。IEPO 的优化目标为：即在“图像质量”与“加速率”之间实现可控权衡。实验结果该工作在两个典型任务场景中验证了HarmoniCa的有效性：对比方法包括当前最佳的缓存学习方法 Learning-to-Cache (LTC)、启发式缓存方法 FORA / ∆-DiT，以及多种加速器设置（DDIM 步数缩减、量化剪枝等）。分类条件生成（DiT-XL/2 256×256）重点结论：文本生成图像（PIXART-α 256×256）重点结论：量化/剪枝VS HarmoniCa除了与主流缓存方法的对比，该工作也评估了HarmoniCa相比剪枝和量化等压缩技术的表现。在统一的 20 步采样设置下，传统方案如 PTQ4DiT、EfficientDM等虽然模型更小，但实际加速依赖硬件支持，特别是一些定制CUDA内核在H800等新架构上表现并不稳定。更重要的是，量化模型在小步数采样时往往精度下降严重，PTQ4DiT就出现了明显的性能下滑。而HarmoniCa不依赖底层魔改，无需专用硬件，在各种主流采样器和设备上都能稳定提速，保持图像质量，是当前更通用、更稳妥的部署选择。△与量化/剪枝方法的比较与量化结合该工作还验证了HarmoniCa与模型量化技术的高度兼容性。在 PIXART-α 256×256 场景下，将HarmoniCa应用于4bit量化模型（EfficientDM），推理速度从1.18×提升至1.85×，FID仅略增0.12，几乎无感知差异。说明HarmoniCa不仅可独立提速，也能作为“加速插件”叠加于量化模型之上，进一步释放性能潜力。未来，该工作也计划探索其与剪枝、蒸馏等技术的组合能力，为DiT模型的轻量部署开辟更多可能。△HarmoniCa和量化方法的组合开销分析除了推理提速和质量提升，HarmoniCa 在训练与推理开销上也展现出极强优势，是真正能用、敢用、易部署的工业级方案。△训练开销对比训练侧：HarmoniCa 采用无需图像的训练策略，仅基于模型和噪声即可完成优化，不依赖任何额外数据。在同等训练轮次下，其训练时间比主流方案 LTC 缩短约 25%，显存占用相近，可在单卡稳定运行，适合闭源模型加速和快速迭代。推理侧：推理端新增 Router 极其轻量，参数仅占 0.03%，计算开销低于总 FLOPs 的 0.001%，几乎不影响吞吐。配合特征缓存，HarmoniCa 在 PIXART-α 上可实现理论加速比2.07×、实测加速1.69×，具备优越的部署效率与工程可行性。总结：缓存加速的新范式，训练推理协同才是正解！当前Diffusion加速路径中，缓存机制正逐渐成为主流方案，但传统做法要么依赖手工规则、要么训练目标错位，无法在真实部署中兼顾性能、效率、适应性。该工作提出的HarmoniCa框架，首次通过：在PIXART、DiT、LFM等多个模型上，HarmoniCa都实现了更快的推理、更高的质量、更低的训练门槛，为缓存加速技术注入“可落地”的关键支撑。论文地址：https://arxiv.org/abs/2410.01723代码地址：https://github.com/ModelTC/HarmoniCa\n\n\n海量资讯、精准解读，尽在新浪财经APP","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.35.9","shortVersion":"4.35.9","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2549032734","isCrawlerRequest":true}