MIT发布自适应语言模型！新任务，自生成远超“GPT-4.1合成训练数据”

市场资讯07-09

炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！新智元报道编辑：LRS【新智元导读】自适应语言模型框架SEAL，让大模型通过生成自己的微调数据和更新指令来适应新任务。SEAL在少样本学习和知识整合任务上表现优异，显著提升了模型的适应性和性能，为大模型的自主学习和优化提供了新的思路。经过海量文本预训练后的大模型，已经能够很好地理解语言，并根据要求来生成文本。不过，在部署大...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2550508906?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-07-09 09:28","share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","id":"2550508906","market":"sh","top_or_hot":-1,"title":"MIT发布自适应语言模型！新任务，自生成远超“GPT-4.1合成训练数据”","media":"市场资讯","content":"<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 新智元报道编辑：LRS【新智元导读】自适应语言模型框架SEAL，让大模型通过生成自己的微调数据和更新指令来适应新任务。SEAL在少样本学习和知识整合任务上表现优异，显著提升了模型的适应性和性能，为大模型的自主学习和优化提供了新的思路。经过海量文本预训练后的大模型，已经能够很好地理解语言，并根据要求来生成文本。不过，在部署大...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-07-09/doc-infevtfv2928261.shtml\">网页链接</a>\n\n</div>\n","source":"sina","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>MIT发布自适应语言模型！新任务，自生成远超“GPT-4.1合成训练数据”</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nMIT发布自适应语言模型！新任务，自生成远超“GPT-4.1合成训练数据”\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-07-09 09:28 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/stock/t/2025-07-09/doc-infevtfv2928261.shtml><strong>市场资讯</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 新智元报道编辑：LRS【新智元导读】自适应语言模型框架SEAL，让大模型通过生成自己的微调数据和更新指令来适应新任务。SEAL在少样本学习和知识整合任务上表现优异，显著提升了模型的适应性和性能，为大模型的自主学习和优化提供了新的思路。经过海量文本预训练后的大模型，已经能够很好地理解语言，并根据要求来生成文本。不过，在部署大...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-07-09/doc-infevtfv2928261.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"BK6515","symbol_name":"技术设备股","start_time":0,"source_url":"https://finance.sina.com.cn/stock/t/2025-07-09/doc-infevtfv2928261.shtml","article_id":"2550508906","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2550508906","pubTimestamp":1752024480,"columns":[],"sourceInfo":{"source_id":"sina","name":"sina"},"weMediaInfo":null,"summary":"相比与直接在原始文本上微调不同，经过强化学习训练后，使用SEAL生成的合成数据进行微调，将SQuAD无上下文版本的问题回答准确率从33.5%提高到47.0%，甚至超过了GPT-4.1生成的合成数据。自适应大模型自适应大模型可以帮助语言模型更好地适应特定任务。经过强化学习后，SEAL进一步将准确率提升到47.0%，尽管模型规模较小，但表现优于使用GPT-4.1生成的合成数据。研究人员为每个段落采样5个自编辑生成内容，并将这些合成数据用于持续预训练。","collect":0,"end_time":0,"defaultTopTitle":"sina.com.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"BK6515":"技术设备股","MIT":"Mason Industrial Technology Inc","M11.SI":"综合制造科技","BK6062":"电子制造服务"},"translate_title":"MIT releases adaptive language model! New task, self-generated far beyond \"GPT-4. 1 synthetic training data\"","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"M11.SI":1,"MIT":1},"content_text":"炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 新智元报道编辑：LRS【新智元导读】自适应语言模型框架SEAL，让大模型通过生成自己的微调数据和更新指令来适应新任务。SEAL在少样本学习和知识整合任务上表现优异，显著提升了模型的适应性和性能，为大模型的自主学习和优化提供了新的思路。经过海量文本预训练后的大模型，已经能够很好地理解语言，并根据要求来生成文本。不过，在部署大模型应用于特定任务、整合新信息或学习新的推理技能时，仍然需要人工标注数据对模型权重进行微调。大模型是否可以通过“自己生成训练数据和学习方法”来实现对新任务的自适应？麻省理工学院的研究人员提出了一个全新的自适应语言模型（Self-Adapting LLMs，简称SEAL）的框架，可以让大模型通过生成自己的微调数据和更新指令来实现自适应。论文链接：https://arxiv.org/pdf/2506.10943项目主页：https://jyopari.github.io/posts/seal与以往依赖独立适应模块或辅助网络的方法不同，SEAL直接利用模型自身的生成能力来参数化和控制其自我适应过程。当模型接收到新的输入时，会生成一个“自编辑”（self-edit）——即自然语言指令，用于指定数据和优化超参数，以更新模型的权重。通过有监督微调（SFT），自编辑能够实现持久的权重更新，从而实现长期的适应性。为了训练模型生成有效的自编辑，研究人员采用强化学习循环，以“更新后模型在下游任务中的表现”作为奖励信号。在尝试“将新的事实性知识整合到LLM”的实验上，研究人员使用SEAL模型生成的合成数据进行微调。相比与直接在原始文本上微调不同，经过强化学习训练后，使用SEAL生成的合成数据进行微调，将SQuAD无上下文版本的问题回答准确率从33.5%提高到47.0%，甚至超过了GPT-4.1生成的合成数据。研究人员还在ARC-AGI基准测试的简化子集上对SEAL进行了少样本学习评估，模型需要利用一组工具自主选择合成数据增强和优化超参数（例如学习率、训练周期、对特定token类型的损失计算）。实验表明，使用SEAL自动选择和配置这些工具，比标准的上下文学习（ICL）和没有强化学习训练的自编辑表现更好。自适应大模型自适应大模型（SEAL）可以帮助语言模型更好地适应特定任务。假设语言模型的参数为θ，C是与任务相关的上下文信息，τ是用于评估模型适应性的下游任务，SEAL会针对每个任务实例（C, τ）进行操作。在知识整合任务中，C是需要整合到模型内部知识中的段落，τ是关于该段落的问题和答案；在少样本学习任务中，C是新任务的少量示例，τ是查询输入和真实输出。给定上下文C后，模型会生成一个自编辑（SE），通过有监督微调的方式来更新自己的参数。研究人员使用强化学习来优化自编辑生成的过程：模型生成SE作为动作，根据生成SE后模型在τ上的表现获得奖励，并根据奖励更新策略，以最大化预期奖励。奖励与模型参数θ有关，所以强化学习的状态为上下文C和参数θ由于模型参数会不断更新，之前版本模型收集的（状态，动作，奖励）三元组可能不再适用于当前模型。因此，研究人员采用“在线策略”方法，即从当前模型中采样自编辑，并基于当前模型计算奖励。相比其他策略方法，ReSTEM采用的“拒绝采样+有监督微调”，可以让训练过程更稳定。ReSTEM的过程为：首先从当前模型策略中采样一些候选输出（即自编辑），然后只对那些获得正奖励的样本进行监督微调，以此来强化模型的策略。实验结果少样本学习研究人员使用了一个没有经过针对ARC（抽象和推理语料，Abstract and Reasoning Corpus）预训练的小型开源模型Llama-3.2-1B-Instruct进行实验。由于大多数ARC任务对于未经过ARC预训练的模型来说难度较大，研究人员从ARC训练集中筛选出11个任务，从评估集中筛选出8个任务，确保这些任务在最优TTT（测试时训练，test-time training）配置下可以被基础的Llama-3.2-1B-Instruct模型解决。在训练过程中，研究人员使用ReSTEM方法，通过为每个训练任务采样15个自编辑来训练模型。每个自编辑分别应用于生成15个更新后的模型，然后在对应的测试样本上进行评估，只保留那些“经过适应后能够为测试输入生成正确输出”的模型。评估指标为成功率：为每个保留的评估任务生成5个自编辑并评估模型，然后统计能够产生正确输出的自编辑的百分比，可以反映出所学自编辑生成策略的质量。对比基线方法包括上下文学习（ICL）、TTT+自编辑（无强化学习）和Oracle TTT（性能上限）。与基线方法相比，SEAL显著提高了适应成功率（72.5%），而未经强化学习训练的基础模型的自编辑成功率仅为20%，不进行任何适应的成功率为0%知识整合（Knowledge Incorporation）研究人员使用Qwen2.5-7B模型，从SQuAD（斯坦福问答数据集）的段落中整合新的事实内容。对比基线包括基础模型（直接在问答任务上评估，Base Model）、仅在段落上微调模型（Train on Passage）、在段落和自动生成的推论上训练模型（Train on Passage + Synthetic）、在段落和通过OpenAI API从GPT-4.1收集的模型生成推论上训练。在单段落设置下，仅在段落上微调的模型相比基础模型几乎没有提升（33.5% vs. 32.7%），表明仅使用原始数据是不够的。使用GPT-4.1生成的推论可以将准确率提升到46.3%，比仅使用段落的基线提高了12.8个百分点。使用Qwen2.5-7B模型生成的合成数据可以达到39.7%，提高了6.2个百分点。经过强化学习后，SEAL进一步将准确率提升到47.0%，尽管模型规模较小，但表现优于使用GPT-4.1生成的合成数据。在持续预训练（CPT）设置下，模型从200个段落中整合信息，并在所有974个相关问题上进行评估。研究人员为每个段落采样5个自编辑生成内容，并将这些合成数据用于持续预训练。结果显示，SEAL在多段落设置下也优于所有基线方法，准确率达到43.8%。虽然绝对性能低于单段落设置，但相对提升效果保持一致，这表明SEAL发现的编辑策略不仅适用于单个段落的合成数据生成，还能推广到更广泛的场景。仅需两次迭代，SEAL就超过了使用GPT-4.1数据的效果，后续迭代的提升效果逐渐减弱，表明策略迅速收敛到一种能够“将段落提炼为易于学习的基本事实”的编辑风格。从例子中，可以看到强化学习可以促使生成更详细的自编辑内容，而这些更详细的编辑又反过来提升了整体性能。参考资料：https://arxiv.org/abs/2506.10943\n\n\n海量资讯、精准解读，尽在新浪财经APP","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"deviceId":"web-server-community-laohu8-v3","version":"4.35.12","shortVersion":"4.35.12","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2550508906","isCrawlerRequest":true}