
自Hy4 Preview发布以来,它最受人关注的地方就是全链路RSI,这也是腾讯混元首个自己全程参与研发的模型。通过全链路RSI能给模型带来大幅性能提升。
不到两个月后,混元的Frontier团队发布了Terminal-RSI。这次更有意思,它能通过RSI,让一个模型超越自己原本的框架,实现自己本来不具备的能力。
就像你有一台微波炉,它的功能是给食物加热。加入Terminal-RSI之后,不仅能让微波炉原本的加热功能效果更好,你还能用它来看电视、听歌、打游戏。
以Terminal-Bench 4.0为例,这是当下最严格的Agent终端实操基准测试集之一。论文使用的基座模型,原本不具备跑这个测试集的能力,也就是0%。
通过Terminal-RSI,这个基座模型能达到19.84%的分数,和GPT-5.6 Terra、Gemini 3.8 Flash齐平。
还有一个细节也挺好玩的,论文所使用的基座模型是Qwen3.8-27B,腾讯阿里也因此在RSI上达成了“合作”。
论文自己也承认,这套RSI只在一个27B的模型上跑过,没有在更大的模型上验证,也只有三次评测、没有独立训练种子,所以它放到Hy4这种大参数量模型上会怎样,还能否实现RSI,目前都还没有答案。

Terminal-RSI是个啥?
Terminal-RSI所训练的叫做终端Agent。它跟普通的Agent不太一样,混元团队给它一个沙盒和一份任务说明,它要像工程师一样在命令行里查看仓库、安装依赖、修改代码、运行测试,最后看沙盒里的状态能不能通过验证。
论文表示,要想实现RSI通常会有两个难题。
第一个是反馈太慢。论文表示,在整个训练过程中,平均交互回合数在50到117之间浮动,明明第二步就错了,结果只有到最后才知道对不对。
第二个是没办法细致地区分对与错。论文提到,验证器里11条检查过了9条,但是这个结果,却很难在终端判定里体现出来。
就像打游戏,打掉水晶才算赢。你杀一个小兵给一份钱,很多人不推水晶、专门刷小兵,刷得是不亦乐乎,而且最后评分也很高,但问题是水晶不掉就赢不了游戏啊。
Terminal-RSI的核心目的,就是为了解决这两件事。

Terminal-RSI的流程是这样的:Base → RSR-1 → RPR-1 → RSR-2 → RPR-2,两个“重写 + 精炼”的循环,基座用的是前文提到的Qwen3.8-27B,最终产物叫Terminal-RSI-27B。
第一步RSR(Recursive Self-Rewrite,递归自我重写)只更新actor,也就是真正去执行任务的策略。
它的做法是:模型在各种不同的harness里尝试任务,只保留通过完整验证的成功轨迹。然后由模型自己充当规划者,把成功过程提炼成一份操作手册(runbook)。
这时候,有一个专门负责审查的Agent,它只看题面和手册,检查格式、产物以及有没有把验证器答案或标准解泄漏进去。
通过审查后,模型拿着手册在全新的沙盒里重新做一遍,只有重做依然通过验证、且没有泄漏的轨迹才会留下。
最后做监督微调时,手册和审查对话都会被抹掉,只留下动作序列。
RSR就像你打游戏开荒,死了八百回,终于有一把通了关。然后你把那把的录像导出来,天天回放,把每一步操作硬背成肌肉记忆。
下次再进本,你手自己就动了,脑子里全是通关那把的走位,想都不用想。
这就是RSR的本质,把“成功那一次”抠出来,写成笔记,照着死磕。打分的人没换,裁判也没换,规则还是那套规则,唯一的变数只有正在闯关的你。你抄的是你自己的满分卷子。
第二步RPR(Recursive Policy-Refine,递归策略精炼)则是actor和critic一起上的强化学习(PPO)。
论文强调,重写之后,actor偏好的动作变了,它会遇到的历史也跟着变,原来的critic就不一定估得准。如果直接把critic重置,等于丢掉已经学到的“什么样的局面更接近成功”。
可话又说回来了,如果原样继承又不校准,旧的估计误差会混进优势值里。
比如你练着练着换了套新打法,旧录像这时候就不好使了,得请个分析师(critic)帮你分析,下一步应该怎么走才能过关。
但问题来了,分析师脑子里那套数据库还是你旧打法的,你现在这打法他根本看不懂。
RPR的招数是你先原地站桩别动,让分析师拿你最近的战绩单独重新练4轮,让它理解你的新打法和新规则。等分析师回过味来了,你再跟分析师一起上分,边打边调。也就是所谓的“带着教练一起热身”。
那么结果到底怎样?
Qwen3.8这个只有27B参数量的小模型,只练了两轮,它在Terminal-Bench 2.1上的得分,就从51.7%升到86.5%,在Terminal-Bench 4.0版本上从完全做不出来(0%)升到了19.8%,四个测试的平均分从20.7%升到50.6%,翻了一倍多。

Hy Frontier回到混元主线
论文的一作有三位,分别是Hy Frontier的两个实习生杨竣尧和李宗夏,以及位于西雅图的腾讯研究科学家史玉成。
而这三个人此前也合作过,论文名为《T1:面向长时程任务的终端智能体强化学习》(T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks)。
这篇论文相当于是Terminal-RSI的“前传”,讲的是怎么用强化学习把一个大模型练成“会真的在Linux终端里干活”的智能体。
姚顺雨来之前,腾讯做基础研究的主力是2016年成立的AI Lab,姚星牵头筹建,2017年请来机器学习学者张潼出任首任负责人。
然而根据《晚点》的报道,张潼带着很高的期待来,以为腾讯海量的业务和数据能成为学界拿不到的研究资源,结果进来之后数据依然拿不到,研究只能闭门造车,两年后失望离开。
此后AI Lab负责人换成张正友,2024年6月再换成蒋杰。
混元同样也是如此,2023年立项时项目组连一块GPU都没有,最后是从广告部门匀来了2000张,一半给预训练、一半给后训练。
首任负责人是张正友,他的研究方向是计算机视觉。第二任负责人是蒋杰,长期负责腾讯广告平台的产品技术管理工作,长期做大数据平台,擅长广告推荐。但是几乎都没碰过强化学习。
到了2025年中,团队转向打榜。受访者对《晚点》表示,“活照常干,但大家心里都清楚,这么干下去不行”。
直到姚顺雨加入混元,一切才有了转变。在6月的访谈里,姚顺雨提到,今天的AI有三块,Foundation、产品和Frontier,要构建一个均衡的“三角形组织”,因为“在我们今天所做的前沿探索不够多”。
旧的研究机构“离模型太远”,模型团队又“光顾着追榜单”。
姚顺雨的解法是把研究直接搬进模型部门里面。AI Lab并入大语言模型部,原来的研究员成为其中的Frontier方向,和预训练、后训练、评估、Infra同属一个部门、同一条汇报线。

过去的做法是研究在AI Lab、产品和模型在别处,两边靠协调沟通。现在的做法是Frontier与主模型团队放在同一个框里,层级也被压成“姚顺雨—方向负责人—研究员/实习生”三层。
Frontier至此开始,也不再是一个独立于混元的实验室,7月基础模型部成立后,它又被收进同一个部门,都向姚顺雨汇报。
虽然Frontier理论上“不设KPI、不规定课题”,但这条终端Agent加强化学习的研究线也不是那种“漫无边际式”的研究。
2025年底,腾讯混元开始重点跟进AI编程,姚顺雨因此搭出了一个全集团共用的强化学习基础设施,让各业务能在上面训练自己的模型,再把数据回流给混元。T1和Terminal-RSI做的,正是终端里的长程任务与强化学习。
再加上Hy 4 Preview本来就强调全链路RSI,因此这次的Terminal-RSI,就是Frontier对混元主力产品线的一次补强。
混元的研究和产品,不再分家。

Hy4未来可期
Hy4 Preview的全链路RSI可以细分为4个环节,数据策略、训练方法、评估体系、底层算子。前文提到,Terminal-RSI的RSR和RPR,前者所对应的就是数据策略这一环,而RPR提升的则偏向于训练方法。
Hy4底座再强,终端长时程任务上的“完整成功”轨迹照样稀缺,而RSR能自己给自己造高质量训练数据,还顺手隔离了benchmark污染。
所以它对Hy4的意义是:把“偶尔能做对”固化成“稳定会做”,尤其在调试、系统管理这种需要多步推理加工具调用的活上。
真正的大头在RPR,它几乎完美符合Hy4所有的需求。
前文提到,RPR是“带着教练一起热身”,以适应新环境、新打法、新规则。自姚顺雨进入混元之后,模型主打的就是上下文,而这也意味着模型经常要面对各种新类型的任务。
很多大模型的评分很高,可它在实际完成任务上,总是差点意思。
因为骗分这活儿,本身就是个技术活。OpenAI的报告里就曾提到,模型越强,越会“演”。中间步骤、前置条件、中间产物它全都能给你搞对,一路刷出大量通过的检查点,看着跟真干成了似的,可最后那个要命的关键结果就是不对。
不推掉水晶就赢不了游戏。而姚顺雨又是个不关注榜单成绩,只在乎模型能不能完成任务的人。
2026年1月的时候,姚顺雨评价DeepSeek,说:“DeepSeek做得比较好的一点是,他们可能没有那么关注榜单的数字。DeepSeek可能会更注重:第一,什么是正确的事情;第二,什么是自己能体验出好或者不好的。”
弱模型想骗分还没那本事,Hy4则是强模型,它要是演起来,只会更像真的,那刷出来的过程分也只会更凶,所以这套“成功优先、过程分永远压不过满分”的规则,专治它这种病。
精彩评论