强化学习新发现：无需数学样本，仅游戏训练AI推理大增

市场资讯2025-06-24

炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！第一作者谢云飞是莱斯大学博士生，导师为通讯作者魏晨教授，研究方向包括多模态生成与理解。Project Leader肖俊飞是约翰斯・霍普金斯大学博士生，导师为 Bloomberg Distinguished Professor Alan Yuille。第二作者马崟淞是约翰斯・霍普金斯大学博士生。第三作者兰石懿是英伟达 ...

网页链接

免责声明：本文观点仅代表作者个人观点，不构成本平台的投资建议，本平台不对文章信息准确性、完整性和及时性做出任何保证，亦不对因使用或信赖文章信息引发的任何损失承担责任。

精彩评论

我们需要你的真知灼见来填补这片空白

发表看法

{"i18n":{"language":"zh_CN"},"isChannel":false,"data":{"share":"https://www.laohu8.com/m/news/2545222402?lang=zh_CN&edition=full","thumbnail":"","is_english":false,"pubTime":"2025-06-24 16:46","share_image_url":"https://static.laohu8.com/b0d1b7e8843deea78cc308b15114de44","id":"2545222402","market":"hk","top_or_hot":-1,"title":"强化学习新发现：无需数学样本，仅游戏训练AI推理大增","media":"市场资讯","content":"<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 第一作者谢云飞是莱斯大学博士生，导师为通讯作者魏晨教授，研究方向包括多模态生成与理解。Project Leader肖俊飞是约翰斯・霍普金斯大学博士生，导师为 Bloomberg Distinguished Professor Alan Yuille。第二作者马崟淞是约翰斯・霍普金斯大学博士生。第三作者兰石懿是英伟达 ...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-06-24/doc-infcemnh8974111.shtml\">网页链接</a>\n\n</div>\n","source":"sina","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>强化学习新发现：无需数学样本，仅游戏训练AI推理大增</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 11px; color: #7E829C; margin: 0;line-height: 11px;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n强化学习新发现：无需数学样本，仅游戏训练AI推理大增\n</h2>\n\n<h4 class=\"meta\">\n\n\n2025-06-24 16:46 北京时间&nbsp;&nbsp;&nbsp;<a href=https://finance.sina.com.cn/stock/t/2025-06-24/doc-infcemnh8974111.shtml><strong>市场资讯</strong></a>\n\n\n</h4>\n\n</header>\n<article>\n<div>\n<p>炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 第一作者谢云飞是莱斯大学博士生，导师为通讯作者魏晨教授，研究方向包括多模态生成与理解。Project Leader肖俊飞是约翰斯・霍普金斯大学博士生，导师为 Bloomberg Distinguished Professor Alan Yuille。第二作者马崟淞是约翰斯・霍普金斯大学博士生。第三作者兰石懿是英伟达 ...</p>\n\n<a href=\"https://finance.sina.com.cn/stock/t/2025-06-24/doc-infcemnh8974111.shtml\">网页链接</a>\n\n</div>\n\n\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"LU0006061336.USD","symbol_name":"Blackrock US Small and MidCap Opportunities A2 USD","start_time":0,"source_url":"https://finance.sina.com.cn/stock/t/2025-06-24/doc-infcemnh8974111.shtml","article_id":"2545222402","we_media_id":null,"thumbnails":[],"rights":null,"url":"https://stock-news.laohu8.com/highlight/detail?id=2545222402","pubTimestamp":1750754760,"columns":[],"sourceInfo":{"source_id":"sina","name":"sina"},"weMediaInfo":null,"summary":"最近，强化学习领域出现了一个颠覆性发现：研究人员不再需要大量数学训练样本，仅仅让 AI 玩简单游戏，就能显著提升其数学推理能力。此前已有研究发现，即使不提供标准答案，仅用数学问题进行强化学习也能提高模型性能，这让人们开始重新思考强化学习的训练方式。执行后会从环境获得奖励，用于进行强化学习。两款游戏的设计哲学互补：贪吃蛇主要提升 2D 坐标相关的数学表现，旋转游戏则更适合角度和长度推理。","collect":0,"end_time":0,"defaultTopTitle":"sina.com.cn","property":[],"viewcount":null,"language":"zh","relate_stocks":{"LU0006061336.USD":"Blackrock US Small and MidCap Opportunities A2 USD","BK4588":"碎股","RL":"拉夫劳伦","BK4585":"ETF&股票定投概念","BK4214":"汽车零售","BK4202":"服装、服饰与奢侈品","SFT":"Shift Technologies, Inc."},"translate_title":"New discovery in reinforcement learning: no mathematical samples are required, only game training AI reasoning is greatly increased","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"RL":1,"SFT":1},"content_text":"炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 第一作者谢云飞是莱斯大学博士生，导师为通讯作者魏晨教授，研究方向包括多模态生成与理解。Project Leader肖俊飞是约翰斯・霍普金斯大学博士生，导师为 Bloomberg Distinguished Professor Alan Yuille。第二作者马崟淞是约翰斯・霍普金斯大学博士生。第三作者兰石懿是英伟达 Research Scientist。最近，强化学习领域出现了一个颠覆性发现：研究人员不再需要大量数学训练样本，仅仅让 AI 玩简单游戏，就能显著提升其数学推理能力。此前已有研究发现，即使不提供标准答案，仅用数学问题进行强化学习也能提高模型性能，这让人们开始重新思考强化学习的训练方式。而来自莱斯大学、约翰斯・霍普金斯大学和英伟达的研究团队更进一步：他们让多模态大语言模型 (MLLM) 玩贪吃蛇等简单游戏，无需任何数学或多学科训练数据，就显著提升了模型的多模态推理能力。研究团队提出了 ViGaL (Visual Game Learning) 方法，在多个主流视觉数学基准测试和MMMU系列基准测试中，超越此前在数学等领域内数据上训练的强化学习模型。不用数学样本，游戏训练在数学基准取得突破近期研究表明，相比监督微调（SFT），强化学习（RL）往往能实现更强的 “举一反三” 的跨领域泛化能力。以往的工作已经证明，在数学问题训练的模型能够扩展推理到物理问题，经过导航训练的智能体能够成功适应全新环境。然而，这些成功的泛化案例通常仍局限在单一领域内，源任务与泛化的目标任务依然属于同一类型。图 1: 我们发现，只在例如贪吃蛇这种游戏上进行强化学习训练，模型就能涌现出领域外的泛化能力，在数学、多学科等多个任务上提高性能。这篇工作的突破在于实现了更强形式的跨域泛化：从游戏领域完全迁移到数学推理、空间推理和多学科推理等领域。研究团队用 7B 参数的 Qwen2.5-VL 模型进行训练，发现仅通过强化学习训练模型玩贪吃蛇和旋转游戏，就能在多个基准测试中实现了显著提升：图 2: 不使用数学或者多学科样本，仅通过游戏训练，模型在数学推理基准上平均提升 2.9%（左图），在多学科推理基准上平均提升 2.0%（右图），超过此前专门在数学或者多学科数据上训练的强化学习方法。为什么游戏训练如此有效？图 3: 我们在贪吃蛇游戏和旋转游戏上利用强化学习进行训练。在每个游戏里面，模型会接收图片和文本形式的游戏环境作为输入，遵循游戏指令进行推理，抉择一个动作在游戏环境里执行。执行后会从环境获得奖励，用于进行强化学习。通过在游戏中训练，模型获得了推理能力，并且能迁移至下游的数学和多学科等任务。为什么玩游戏能提升数学能力？这个发现其实并不违背认知科学的基本规律。回想一下我们自己的成长过程：小时候通过搭积木学会了空间概念，通过躲猫猫理解了位置关系，通过各种益智游戏培养了逻辑思维。儿童正是通过这些看似 \"玩耍\" 的活动，逐步构建起抽象思维的基础 —— 模式识别、空间推理、因果推断。认知科学研究也证实了这一点：游戏常被用作探索人类心智的实验平台。研究人员通过 \"四子连珠\" 游戏研究规划能力，通过 \"虚拟工具\" 游戏探索问题解决的认知机制。基于这样的理论启发，研究团队巧妙地设计了两款互补的训练游戏：贪吃蛇游戏：这是一个经典的策略决策游戏。在 10×10 的网格上，模型需要控制蛇的移动，避免撞墙、撞到自己或对手，同时尽可能多地收集苹果。游戏培养的核心能力包括路径规划、避障决策和空间导航，这些技能直接对应数学中的坐标几何和函数图像理解。旋转游戏：这是研究团队自主设计的 3D 空间推理游戏。模型需要观察同一 3D 物体的两个视角 —— 初始视角和旋转后视角，判断物体旋转了 90 度还是 180 度。这个游戏专门训练空间几何理解能力，直接对应角度和长度相关的数学推理问题。两款游戏的设计哲学互补：贪吃蛇主要提升 2D 坐标相关的数学表现，旋转游戏则更适合角度和长度推理。实验证实，联合训练两款游戏比单独训练效果更佳，展现了游戏多样性的可扩展潜力。结语：合成任务的新时代ViGaL 的成功揭示了一个潜在的新趋势：当高质量人类数据枯竭，简单任务性能饱和的时候，精心设计的游戏，作为一种合成任务，可能为多模态推理能力的发展开辟新道路。与传统的直接训练方法相比，这种游戏化的训练范式展现出独特的优势：更重要的是，ViGaL 可能揭示了一个朴素但深刻的道理：在直接学习目标任务之外，培养底层的通用推理能力，也许同样有助于模型性能的提升。就像我们不只是通过死记硬背数学公式来培养数学思维，而是通过各种思维训练来发展抽象推理能力一样。在 Scaling Law 可能逐渐面临困境的今天，ViGaL 用一个简单而优雅的想法提醒我们：有时候，让 AI\"玩游戏\" 可能比让它 \"刷题\" 更有效。\n\n\n\n海量资讯、精准解读，尽在新浪财经APP","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":1,"need_auth":false,"code":"91000000","status":"200"},"commentList":[],"isCommentEnd":true,"newsSizeData":{"likeSize":0,"commentSize":0,"repostSize":0,"favoriteSize":0,"likeStatus":false,"favoriteStatus":false},"APP":{"userAgent":"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)","isDev":false,"isTTM":false,"tenantId":"TBCN","deviceId":"web-server-community-laohu8-v3","version":"4.36.0","shortVersion":"4.36.0","platform":"web","vendor":"web","appName":"laohu8","isIOS":false,"isAndroid":false,"isTiger":false,"isTHS":false,"isWeiXin":false,"isWeiXinMini":false,"isWeiBo":false,"isQQ":false,"isBaiduSwan":false,"isBaiduBox":false,"isDingTalk":false,"isToutiao":false,"isOnePlus":false,"isHuaWei":false,"isXiaomi":false,"isXiaomiWebView":false,"isOppo":false,"isVivo":false,"isSamsung":false,"isMobile":false},"href":"/m/news/2545222402","isCrawlerRequest":true}