LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？

市场资讯2025-06-16

炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！机器之心报道编辑：Panda近段时间，关于 AI 自我演进/进化这一话题的研究和讨论开始变得愈渐密集。本月初我们就曾梳理报道了一些，包括 Sakana AI 与不列颠哥伦比亚大学等机构合作的“达尔文-哥德尔机（DGM）”、CMU 的“自我奖励训练（SRT）”、上海交通大学等机构提出的多模态大模型的持续自我改进框架“MM-...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2543623654?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-06-16 14:44","share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","id":"2543623654","market":"fut","top_or_hot":-1,"title":"LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？","media":"市场资讯","content":"<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 机器之心报道编辑：Panda近段时间，关于 AI 自我演进/进化这一话题的研究和讨论开始变得愈渐密集。本月初我们就曾梳理报道了一些，包括 Sakana AI 与不列颠哥伦比亚大学等机构合作的“达尔文-哥德尔机（DGM）”、CMU 的“自我奖励训练（SRT）”、上海交通大学等机构提出的多模态大模型的持续自我改进框架“MM-...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-06-16/doc-infaheki7603782.shtml\">网页链接</a>\n\n</div>\n","source":"sina","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\nLLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-06-16 14:44 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/stock/t/2025-06-16/doc-infaheki7603782.shtml><strong>市场资讯</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 机器之心报道编辑：Panda近段时间，关于 AI 自我演进/进化这一话题的研究和讨论开始变得愈渐密集。本月初我们就曾梳理报道了一些，包括 Sakana AI 与不列颠哥伦比亚大学等机构合作的“达尔文-哥德尔机（DGM）”、CMU 的“自我奖励训练（SRT）”、上海交通大学等机构提出的多模态大模型的持续自我改进框架“MM-...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-06-16/doc-infaheki7603782.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"LU2238330802.EUR","symbol_name":"AZ EQUITY - ASEAN COUNTRIES \"AAZ\" (EUR) ACC","start_time":0,"source_url":"https://finance.sina.com.cn/stock/t/2025-06-16/doc-infaheki7603782.shtml","article_id":"2543623654","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2543623654","pubTimestamp":1750056240,"columns":[],"sourceInfo":{"source_id":"sina","name":"sina"},"weMediaInfo":null,"summary":"MIT 昨日发布的《Self-Adapting Language Models》就是最新的例证之一，其中提出了一种可让 LLM 更新自己的权重的方法：SEAL，即 Self-Adapting LLMs。在该框架中，LLM 可以生成自己的训练数据，并根据新输入对权重进行更新。当然，也有人对自我提升式 AI 充满了警惕和担忧。自编辑生成需要通过强化学习来学习实现，其中当模型生成的自编辑在应用后可以提升模型在目标任务上的性能时，就会给予模型奖励。其中，知识整合的目标是有效地将文章中提供的信息整合到模型的权重中。","collect":0,"end_time":0,"defaultTopTitle":"sina.com.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"LU2238330802.EUR":"AZ EQUITY - ASEAN COUNTRIES \"AAZ\" (EUR) ACC","SG9999013478.USD":"利安新加坡股息基金","LU0348788117.USD":"ALLIANZ EMERGING ASIA EQUITY \"A\" (USD) INC","LU1242518931.SGD":"Fullerton Lux Funds - Asia Absolute Alpha A Acc SGD","LU0175139822.USD":"AB FCP I Global Equity Blend A USD","SG9999002406.SGD":"利安新加坡信托基金","SG9999006266.SGD":"MANULIFE SINGAPORE EQUITY \"A\" (SGD) ACC","LU1048588211.SGD":"Blackrock Asian Dragon A2 SGD-H","LU0737861269.HKD":"FIDELITY ASEAN \"A \" (HKD) ACC","BK4554":"元宇宙及AR概念","SRT":"Startek Inc","SG9999002620.SGD":"LionGlobal South East Asia SGD","IE0034224299.USD":"PINEBRIDGE ASIA EX JAPAN EQUITY \"A\" (USD) ACC","LU0516422366.SGD":"Fullerton Lux Funds - Asia Focus Equities A Acc SGD","LU1770036033.HKD":"NINETY ONE GSF ASIAN EQUITY \"A\" (HKD) ACC","LU0264606111.USD":"Janus Henderson Horizon Asian Dividend Income A2 USD","LU2065170008.USD":"M&G (LUX) GLOBAL MAXIMA \"A\" (USD) INC","BK4585":"ETF&股票定投概念","LU2065171311.SGD":"M&G (LUX) GLOBAL MAXIMA \"A\" (SGD) ACC","LU2008162690.USD":"FIDELITY FUNDS - ASIA PACIFIC OPPORTUNITIES \"A\" (USD) ACC","SG9999001135.SGD":"United ASEAN Fund SGD","LU0516423091.SGD":"FULLERTON LUX FUNDS - ASIA FOCUS EQUITIES \"I\" (SGD) ACC","LU2543165471.USD":"E FUND (HK) GLOBAL QUALITY GROWTH \"A\" (USD) ACC","BK4503":"景林资产持仓","LU0048573645.USD":"富达东盟基金","LU2045819591.USD":"Natixis WCM Global Emerging Markets Equity R/A USD","LU0589944569.HKD":"ALLIANZ EMERGING ASIA EQUITY \"AT\" (HKD) ACC","SG9999014492.USD":"NIKKO AM ASEAN EQUITY \"A\" (USD) ACC","LU0572940350.SGD":"Janus Henderson Horizon Asian Dividend Income A3 SGD","LU2125910849.SGD":"Natixis WCM Global Emerging Markets Equity R/A SGD","SGXZ58947870.SGD":"LIONGLOBAL SINGAPORE DIVIDEND EQUITY (SGDHDG) INC","SG9999014484.SGD":"Nikko AM ASEAN Equity Fund A SGD","BK4226":"数据处理及外包服务","LU0823038988.USD":"AMUNDI FUNDS ASIA EQUITY FOCUS  \"A2\" (USD) ACC","LU2125910500.SGD":"Natixis WCM Global Emerging Markets Equity H-R/A SGD","LU0499858438.USD":"NINETY ONE GSF ASIA PACIFIC EQUITY OPPORTUNITIES \"A\" (USD) INC","BK4085":"互动家庭娱乐","SG9999002604.SGD":"LionGlobal Singapore/Malaysia SGD","LU1242518857.USD":"FULLERTON LUX FUNDS - ASIA ABSOLUTE ALPHA \"I\" (USD) ACC","SG9999002679.SGD":"LionGlobal Singapore Balanced SGD","LU0823039010.USD":"AMUNDI FUNDS ASIA EQUITY FOCUS  \"A2\" (USD) INC","LU0345776255.USD":"NINETY ONE GSF ASIAN EQUITY \"A\" (USD) INC","SG9999004360.SGD":"Nikko AM Shenton Thrift Fund SGD","LU0289960550.SGD":"AB FCP I - GLOBAL EQUITY BLEND PORTFOLIO 'A' (SGD) ACC","LU0516422952.EUR":"FULLERTON LUX FUNDS - ASIA FOCUS EQUITIES \"I\" (EUR) ACC","BK4548":"巴美列捷福持仓","LU0572939691.SGD":"Janus Henderson Horizon Asian Dividend Income A2 SGD","SG9999013486.USD":"LIONGLOBAL SINGAPORE DIVIDEND EQUITY (USD) INC A","SG9999013460.SGD":"LionGlobal Singapore Dividend Equity Fund SGD"},"translate_title":"LLM has been able to self-update its weights, and its self-adaptation and knowledge integration capabilities have been greatly improved. Is AI awake?","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"SRT":1},"content_text":"炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 机器之心报道编辑：Panda近段时间，关于 AI 自我演进/进化这一话题的研究和讨论开始变得愈渐密集。本月初我们就曾梳理报道了一些，包括 Sakana AI 与不列颠哥伦比亚大学等机构合作的“达尔文-哥德尔机（DGM）”、CMU 的“自我奖励训练（SRT）”、上海交通大学等机构提出的多模态大模型的持续自我改进框架“MM-UPT”、香港中文大学联合 vivo 等机构的自改进框架“UI-Genie”，参阅文章《LSTM 之父 22 年前构想将成真？一周内 AI“自我进化”论文集中发布，新趋势涌现？》那之后，相关研究依然还在不断涌现，以下拼图展示了一些例子：而前些天，OpenAI CEO、著名 大 v 山姆・奥特曼在其博客《温和的奇点（The Gentle Singularity）》中更是畅想了一个 AI/智能机器人实现自我改进后的未来。他写道：“我们必须以传统的方式制造出第一批百万数量级的人形机器人，但之后它们能够操作整个供应链来制造更多机器人，而这些机器人又可以建造更多的芯片制造设施、数据中心等等。”不久之后，就有 用户 @VraserX 爆料称有 OpenAI 内部人士表示，该公司已经在内部运行能够递归式自我改进的 AI。这条推文引起了广泛的讨论 —— 有人表示这不足为奇，也有人质疑这个所谓的“OpenAI 内部人士”究竟是否真实。https://x.com/VraserX/status/1932842095359737921但不管怎样，AI 也确实正向实现自我进化这条路前进。MIT 昨日发布的《Self-Adapting Language Models》就是最新的例证之一，其中提出了一种可让 LLM 更新自己的权重的方法：SEAL，即 Self-Adapting LLMs。在该框架中，LLM 可以生成自己的训练数据（自编辑 /self-editing），并根据新输入对权重进行更新。而这个自编辑可通过强化学习学习实现，使用的奖励是更新后的模型的下游性能。这篇论文发布后引发了广泛热议。在 Hacker News 上，有用户评论说，这种自编辑方法非常巧妙，但还不能说就已经实现了能“持续自我改进的智能体”。论文一作 Adam Zweiger 也在 上给出了类似的解释：也有人表示，这表明我们正在接近所谓的事件视界（event horizon）—— 这个概念其实也出现在了山姆・奥特曼《温和的奇点》博客的第一句话，不过奥特曼更激进一点，他的说法是“我们已经越过了事件视界”。简单来说，event horizon（事件视界）指的是一个不可逆转的临界点，一旦越过，人类将不可避免地迈入某种深刻变革的阶段，比如通向超级智能的道路。当然，也有人对自我提升式 AI 充满了警惕和担忧。下面就来看看这篇热门研究论文究竟得到了什么成果。自适应语言模型（SEAL）SEAL 框架可以让语言模型在遇到新数据时，通过生成自己的合成数据并优化参数（自编辑），进而实现自我提升。该模型的训练目标是：可以使用模型上下文中提供的数据，通过生成 token 来直接生成这些自编辑（SE）。自编辑生成需要通过强化学习来学习实现，其中当模型生成的自编辑在应用后可以提升模型在目标任务上的性能时，就会给予模型奖励。因此，可以将 SEAL 理解为一个包含两个嵌套循环的算法：一个外部 RL 循环，用于优化自编辑生成；以及一个内部更新循环，它使用生成的自编辑通过梯度下降更新模型。该方法可被视为元学习的一个实例，即研究的是如何以元学习方式生成有效的自编辑。最后，他们还注意到，虽然本文的实现是使用单个模型来生成自编辑并从这些自编辑中学习，但也可以将这些角色分离。在这样一种“教师-学生”形式中，学生模型将使用由另一个教师模型提出的编辑进行更新。然后，教师模型将通过强化学习进行训练，以生成能够最大程度提高学生学习效果的编辑。针对具体领域实例化 SEAL理论有了，该团队也打造了 SEAL 的实例。具体来说，他们选择了两个领域：知识整合和少样本学习。其中，知识整合的目标是有效地将文章中提供的信息整合到模型的权重中。下图展示了相关设置。而下图则给出了少样本学习的设置。对这两种实例化的更详细描述请访问原论文，下面来看看 SEAL 的实际表现。实验结果少样本学习实验所用的模型是 Llama-3.2-1B-Instruct，基准为 ARC。参与对比的方法包括 ICL（上下文学习）、TTT + 自编辑（无强化学习）、Oracle TTT。结果见下表。可以看到，与基线相比，SEAL 显著提高了适应成功率：72.5% vs. 20%（使用基础模型的自编辑但未进行强化学习训练）和 0%（无适应），但性能仍低于 Oracle TTT，表明新方法仍有进一步改进的空间。知识整合知识整合则使用了更大一些的 Qwen2.5-7B，目标是整合 SQuAD 文章中的新事实内容。这里对比的方法包括基础模型、仅在文章上训练的模型、在文章 + 合成数据训练的模型、在文章 + GPT-4.1 合成数据上训练的模型。结果见下表。可以看到，在单篇文章（n = 1）和持续预训练（n = 200）这两种情况下，SEAL 方法的准确度表现都超过了基准。首先使用基础 Qwen-2.5-7B 模型生成的合成数据训练后，模型的表现已经能获得明显提升，从 32.7% 分别提升到了 39.7% 和 41.0%，之后再进行强化学习，性能还能进一步提升（47.0% 和 43.8%）。图 4 展现了每次外部强化学习迭代后的准确度。可以看到，两次迭代足以使 SEAL 超越使用 GPT-4.1 数据的设置；后续迭代的收益会下降，这表明该策略快速收敛到一种将段落蒸馏为易于学习的原子事实的编辑形式（参见图 5 中的定性示例）。在这个例子中，可以看到强化学习如何导致生成更详细的自编辑，从而带来更佳的性能。虽然在这个例子中，进展很明显，但在其他例子中，迭代之间的差异有时会更为细微。另外，该团队也在论文中讨论了 SEAL 框架在灾难性遗忘、计算开销、上下文相关评估方面的一些局限，详见原论文。\n\n\n\n海量资讯、精准解读，尽在新浪财经APP","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"isVideo":false,"video":null,"symbols":[],"gpt_button":0,"need_auth":false,"need_login_tip":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.43.1","shortVersion":"4.43.1","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2543623654","isCrawlerRequest":true}