上交CVPR满分论文数据蒸馏技术，直接把GPU显存“砍掉”300倍

华尔街见闻2025-03-04

给大家分享一项在计算机视觉顶会CVPR 2025上被接收的重磅研究，来自上海交通大学，上海人工智能实验室等机构，论文名为《Dataset Distillation with Neural Characteristic Function: A Minmax Perspective》（基于神经特征函数的数据集蒸馏：一个 Minmax 视角）这项研究可以说是在数据蒸馏领域投下了一颗“深水炸弹”，它...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2516668709?lang=zh_CN&edition=full","thumbnail":"https://wpimg-wscn.awtmt.com/b5da6192-1c7a-445c-8ad8-763bbbfe7fad.png","is_english":false,"pubTime":"2025-03-04 04:27","share_image_url":"https://static.laohu8.com/e9f99090a1c2ed51c021029395664489","id":"2516668709","market":"hk","top_or_hot":-1,"title":"上交CVPR满分论文数据蒸馏技术，直接把GPU显存“砍掉”300倍","media":"华尔街见闻","content":"<div>\n<p>给大家分享一项在计算机视觉顶会CVPR 2025上被接收的重磅研究，来自上海交通大学，上海人工智能实验室等机构，论文名为 《Dataset Distillation with Neural Characteristic Function: A Minmax Perspective》（基于神经特征函数的数据集蒸馏：一个 Minmax 视角）\n\n这项研究可以说是在数据蒸馏领域投下了一颗“深水炸弹”，它...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3742282\">网页链接</a>\n\n</div>\n","source":"wallstreetcn_hot_news","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>上交CVPR满分论文数据蒸馏技术，直接把GPU显存“砍掉”300倍</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n上交CVPR满分论文数据蒸馏技术，直接把GPU显存“砍掉”300倍\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-03-04 04:27 北京时间&nbsp;&nbsp;&nbsp;<a href=https://wallstreetcn.com/articles/3742282><strong>华尔街见闻</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>给大家分享一项在计算机视觉顶会CVPR 2025上被接收的重磅研究，来自上海交通大学，上海人工智能实验室等机构，论文名为 《Dataset Distillation with Neural Characteristic Function: A Minmax Perspective》（基于神经特征函数的数据集蒸馏：一个 Minmax 视角）\n\n这项研究可以说是在数据蒸馏领域投下了一颗“深水炸弹”，它...</p>\n\n<a href=\"https://wallstreetcn.com/articles/3742282\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"CF","symbol_name":"CF工业","start_time":0,"source_url":"https://wallstreetcn.com/articles/3742282","article_id":"2516668709","we_media_id":null,"thumbnails":["https://wpimg-wscn.awtmt.com/b5da6192-1c7a-445c-8ad8-763bbbfe7fad.png"],"rights":{"source":"wallstreetcn_hot_news","url":"https://wallstreetcn.com/articles/3742282","rn_cache_url":null,"directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2516668709","pubTimestamp":1741033663,"columns":[],"sourceInfo":{"source_id":"wallstreetcn_hot_news","name":"华尔街见闻"},"weMediaInfo":null,"summary":"NCFM的GPU显存占用降低了300倍以上，训练速度提升了20倍，仅用2.3GB显存就在单张NVIDIA 2080 Ti GPU上成功完成了CIFAR-100的无损蒸馏。","collect":0,"end_time":0,"defaultTopTitle":"wallstreetcn.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"CF":"CF工业","BK4588":"碎股","BK4093":"化肥与农用药剂","BK4585":"ETF&股票定投概念"},"translate_title":"Submit CVPR full-score paper data distillation technology, directly \"cut\" GPU video memory 300 times","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"CF":1},"content_text":"给大家分享一项在计算机视觉顶会CVPR 2025上被接收的重磅研究，来自上海交通大学，上海人工智能实验室等机构，论文名为 《Dataset Distillation with Neural Characteristic Function: A Minmax Perspective》（基于神经特征函数的数据集蒸馏：一个 Minmax 视角）\n\n这项研究可以说是在数据蒸馏领域投下了一颗“深水炸弹”，它提出了一种全新的方法NCFM (Neural Characteristic Function Matching，神经特征函数匹配)，不仅大幅提升了数据蒸馏的性能，更在资源效率上实现了质的飞跃！\n相比于DATM等SOTA方法，NCFM的GPU显存占用降低了300倍以上！训练速度提升了20倍！更令人震惊的是，NCFM仅用2.3GB显存，就在单张NVIDIA2080TiGPU上成功完成了CIFAR-100的无损蒸馏！这在之前是难以想象的。\n话不多说，我给大家划个重点。\n背景：大数据时代的“瘦身术”——数据集蒸馏\n在人工智能领域，我们常说“数据为王”。 模型要强大，海量数据少不了。 然而，大数据也带来了新的挑战：\n\n\n存储压力山大： 动辄TB甚至PB级别的数据，存储成本高昂\n\n\n训练耗时漫长： 在海量数据上训练模型，计算资源和时间成本都让人望而却步\n\n\n内存瓶颈凸显：大模型 + 大数据，GPU显存分分钟被榨干\n\n\n为了解决这些问题，数据蒸馏 (Dataset Distillation)技术应运而生。 它的目标就像给数据集做“瘦身”， 用少量合成数据 (Synthetic Data) “浓缩” 原始大数据集 (Real Data) 的精华信息，让模型仅用这些“迷你”数据就能达到甚至超越在原始数据集上的训练效果。\n现有方法的困境： “像素级”匹配 vs. “分布级”差异\n目前，数据集蒸馏方法主要分为两大类：\n\n\n特征匹配 (Feature Matching)： 这类方法就像“像素级”比对，直接比较合成数据和真实数据在特征空间的相似度。 例如，早期的 MSE (均方误差) 方法就是典型代表，但它往往忽略了数据的高维语义信息，效果有限。\n\n\n分布匹配 (Distribution Matching)： 这类方法更注重“分布级”的相似性，试图让合成数据和真实数据在分布上尽可能一致。 MMD (最大均值差异) 是常用的度量指标，但研究表明，MMD仅仅对齐了数据的低阶矩，并不能保证整体分布的相似性，而且计算复杂度较高。\n\n\n简单来说，现有方法要么过于简单粗暴，无法捕捉数据的深层分布；要么计算复杂，效率不高。这就限制了数据集蒸馏技术的进一步发展。\nNCFM： Minmax 博弈下的“神经特征函数”\n为了突破现有方法的瓶颈，NCFM 从全新的 Minmax 博弈视角出发， 引入了 “神经特征函数差异 (Neural Characteristic Function Discrepancy, NCFD)” 这一创新度量指标。\n\n1. Minmax 博弈： “矛与盾”的对抗学习\nNCFM 将数据集蒸馏问题重新定义为一个 Minmax 优化问题，就像一场“矛与盾”的对抗游戏：\n\n\n“矛” (Discrepancy Metric Network, 差异度量网络 ψ)：它的目标是 最大化 (Max)合成数据和真实数据之间的差异 (Discrepancy)， 努力找到一个最能区分二者分布的“判别器”。 这个“判别器”就是神经特征函数差异 (NCFD)\n\n\n“盾” (Synthetic Data, 合成数据 D)：它的目标是 最小化 (Min) 在 “矛” 的度量下，合成数据和真实数据之间的差异， 努力生成尽可能“逼真”的合成数据， “欺骗” “判别器”\n\n\n通过 “矛与盾” 的不断对抗和迭代优化，NCFM 能够 自适应地学习到一个更鲁棒、更有效的差异度量指标 (NCFD)， 并生成更高质量的合成数据。 这种 Minmax 框架与 GANs 的对抗生成思想有异曲同工之妙，但目标和实现方式却截然不同。\n2. NCFD： 基于“特征函数”的全面分布刻画\nNCFD 的核心创新在于 “神经特征函数差异” 这一度量指标。 它巧妙地利用了特征函数 (Characteristic Function, CF)的强大能力来刻画数据分布\n什么是特征函数 (CF)？简单来说， 特征函数就是概率密度函数的傅里叶变换。它具有以下关键优势：\n\n\n唯一性：一个分布对应唯一的特征函数，反之亦然。这意味着特征函数能够完整、无损地编码分布的全部信息\n\n\n全面性： 特征函数包含了分布的所有矩信息，比 MMD 仅对齐低阶矩更全面\n\n\nNCFD 如何“神经”？NCFM 并没有直接使用传统的特征函数，而是引入了一个轻量级的神经网络 ψ 来学习特征函数的频率参数 t 的采样策略。这样做的好处是：\n\n\n自适应性： 神经网络 ψ 可以根据数据分布的特点， 动态调整频率参数的采样策略， 最大化差异度量 (NCFD)\n\n\n高效性：相比于 MMD 的二次复杂度， NCFD 的计算复杂度是线性的，更高效\n\n\n3. 相位 (Phase) 与幅度 (Amplitude) 的精妙平衡\nNCFM 在 NCFD 的计算中， 特别关注了神经网络特征在复数域的 “相位 (Phase)” 和 “幅度 (Amplitude)” 信息\n\n\n相位信息：编码了数据的 “中心” 和 “模式”， 对于保证合成数据的 “真实性 (Realism)”至关重要\n\n\n幅度信息：反映了数据的“尺度” 和 “范围”， 有助于提升合成数据的“多样性 (Diversity)”。\n\n\nNCFM 通过精妙地平衡相位和幅度信息， 使得合成数据既能保持真实感，又能兼顾多样性， 从而显著提升了蒸馏性能\n实验结果： 性能与效率的双重 “王炸”\n实验结果充分证明了 NCFM 的卓越性能和效率：\n\n\n性能大幅超越 SOTA： 在 CIFAR-10, CIFAR-100, Tiny ImageNet 以及高分辨率的 ImageNet 子集上，NCFM 都显著超越了现有最先进 (SOTA) 的数据集蒸馏方法。 在 ImageSquawk 高分辨率数据集上，NCFM 甚至取得了惊人的 20.5% 的精度提升！\n\n\n资源效率惊人：相比于 DATM 等 SOTA 方法，NCFM 的 GPU 显存占用降低了 300 倍以上！ 训练速度提升了 20 倍！更令人震惊的是，NCFM 仅用 2.3GB 显存，就在单张 NVIDIA 2080 Ti GPU 上成功完成了 CIFAR-100 的无损蒸馏！ 这在之前是难以想象的\n\n\n\n本文来源：AI寒武纪，原文标题：《上交CVPR 满分论文数据蒸馏技术，直接把 GPU 显存 “砍掉” 300 倍》风险提示及免责条款\n\n            市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.36.2","shortVersion":"4.36.2","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2516668709","isCrawlerRequest":true}