从45%到99%+：Pyromind如何让欢网AITV从真实任务中持续学习｜甲子光年

共建AITV智能解决方案，让电视Agent从真实任务中持续学习。

智能电视里的内容和应用越来越多，用户完成一次搜片和播放，仍要打开应用、进入搜索、输入片名、选择结果，再逐步移动遥控器焦点。Agent可以将用户意图转化为界面操作：系统读取当前界面，规划后续步骤并执行。但每一次按键都会改变界面，模型需要根据新的状态继续判断，直到整个任务完成。

欢网科技与Pyromind围绕这一场景共建AITV智能解决方案，将任务执行、场景后训练、效果评估和模型更新纳入同一套技术链路。Pyromind针对电视遥控器操作任务，对Qwen3-VL-4B进行场景后训练，依次训练当前焦点识别、目标元素识别和按键路径输出。训练后，模型的焦点识别准确率由45%提升至99.6%；在业务任务中，“可见即可说”成功率达到99%，“搜播”成功率超过90%。

这套方案落地于欢网旗下“小柚投屏・搜影片”。搜片、投屏、跨屏接续和多端资源投放由欢网的产品与业务链路承载；Pyromind负责将通用视觉语言模型训练为可在电视界面中连续执行遥控器操作的动作执行模型。用户通过语音提出需求后（可见即可说），Agent可以完成当前界面的控件定位，也可以跨页面完成影视内容的搜索与播放（搜播）。

小柚投屏实际效果展示

下面两段动图展示了真机遥控器搜播的完整轨迹。同一套“焦点→目标→按键路径”能力，需要适应不同的首页布局、搜索键盘和结果页设计。当前验证已覆盖云视听极光、奇异果、芒果、优酷、B站等多款主流电视视频App。文中选取其中两个场景进行展示。

  演示1-云视听极光搜播《独行月球》

云视听极光搜播《独行月球》：Agent从应用首页进入搜索，在虚拟键盘上依次输入拼音首字母D、X、Y、Q，再从“猜你想搜”或结果列表定位目标影片并完成后续起播步骤。

  演示2-多平台搜播《太平年》

在其他视频类应用，该模型也能够轻松应对。

这项合作进一步验证了Pyromind对垂直Agent的判断：Agent上线后仍会面对新的任务和错误，真实任务数据需要持续进入训练、评估和模型更新过程。

1.电视Agent的难点，

出现在每一次按键之后

电视交互主要依靠上、下、左、右和确认等离散按键。模型需要先识别当前焦点，再判断目标位于哪个方向，计算需要经过多少次按键。不同应用对焦点高亮、控件排列和页面跳转的设计并不一致，同一个按键在不同界面中也可能产生不同结果。

任务还具有连续性，且不同任务的跨度差很大：

“可见即可说”通常停在当前界面：识别用户指定的控件并移动焦点；“搜播”则要跨多个页面：找到搜索入口、在虚拟键盘上完成输入、选择结果、进入详情并启动播放，输入过程中若“猜你想搜”已出现目标片名，还可以提前点选。每次按键之后，页面状态和焦点位置都可能改变，模型必须重新读取界面并决定下一步。一次焦点识别错误、多走一步或误按确认，就可能进入另一个页面，使后续判断全部失去依据。搜播链路更长，中间任何一环出错都会把后面的步骤带偏。

静态截图理解或单次控件定位不能保证完整任务成功。通用视觉语言模型缺少针对电视焦点、遥控器路径和应用状态变化的任务经验；电视终端对推理资源和响应效率的限制，也使单纯依赖更大模型难以成为长期方案。

2. 32B仍不稳定：

电视任务表现不只取决于模型规模

此前，欢网在Android TV测试环境中验证了不同规模的Qwen3-VL基础模型，尝试通过通用模型直接接入的方式构建AITV。

32B模型可以在点击模式下完成部分简单任务，但切换到遥控器模式后仍难以稳定完成连续操作；未经场景训练的4B和2B模型还会出现界面理解、任务规划和动作选择错误。对电视端而言，问题不只是把模型做大：遥控器连续操作需要场景数据，终端还要兼顾响应和资源占用。

针对这一能力缺口，Pyromind将已有的场景后训练与工作流编排能力应用于Android TV任务，并结合欢网的业务环境与任务数据，形成覆盖任务执行、场景训练、效果评估和模型更新的AITV方案。

该方案同时处理任务执行和模型更新。运行时，Agent将用户目标转化为电视上的连续操作；训练时，系统使用任务轨迹中的界面状态、正确示范、模型错误输出与人工修正，用于后训练和评估。通过验证的新版本再回到应用中，处理新的App、界面和任务。

AITV智能解决方案整体架构

在任务执行链路中，任务规划（Planning Model）负责理解用户目标并拆分步骤；动作执行模型（Action Model）读取每一步的电视界面，按“当前焦点→目标元素→按键路径”输出遥控器动作。本项目重点训练的是动作执行模型。

3.课程学习：先看清焦点，

再找到目标，最后走出路径

遥控器任务不能一开始就学完整路径。项目按课程学习安排训练目标，由易到难：

• -先识别当前焦点，让模型在电视界面上站稳位置；

• -再识别目标元素，把用户意图落到具体控件；

• -最后输出从焦点到目标的按键路径，完成一次可执行的遥控器动作。

主训练使用约12万条数据。单条数据关联用户任务、当前子任务、电视截图、焦点位置、目标控件和正确动作。Android TV测试环境将界面状态、动作和执行结果记在同一条任务轨迹中，便于定位哪一步出错，并比较模型更新前后的表现。

后训练以监督微调（SFT）打底，再叠加组相对策略优化（GRPO）和偏好优化（DPO）：

Pyromind Studio中Action模型的SFT训练配置

• -SFT使用正确操作示范，按课程顺序建立从界面状态到结构化遥控器动作的映射；

• -GRPO在训练中使用JSON是否合法，以及焦点框、目标框、按键路径与逐步标注的匹配程度作为奖励；

• -DPO将错误输出与正确示范组成偏好对，用于处理路径多按、误按确认等已经定位的错误。

动作执行模型的课程学习与后训练

4.数据从哪来：大模型预标注冷启动，

再靠飞轮自己长数据

训练数据不是一次性标完的，而是分阶段生成，来自两条互补路径：冷启动用静态截图铺课程，飞轮用真机任务长轨迹。

冷启动（预标注）：从单张电视截图出发。更大的视觉语言模型先标出当前焦点，并检出界面上可聚焦的控件（grounding）；元素之间的导航图则按几何位置生成，再经人工核对，修正框选和邻居关系。校验通过后，从焦点出发沿导航图展开：一张图会变成一条焦点课，以及每个可达目标对应的定位课和路径课。这样可以用较少人工，把少量截图铺成课程学习所需的SFT样本，先让4B小模型具备识别焦点、定位控件和走短路径的能力。

数据飞轮：Agent根据真实任务列表在电视终端执行任务并记录完整轨迹。每条任务留下完整轨迹，把界面截图、规划与动作输出、执行结果记在一起。再按规则从轨迹中抽取SFT正确示范，以及错误路径与正确路径的DPO偏好对，经标注工具抽检修正后进入后训练。失败样本经归因后，再回到课程学习的对应阶段：焦点不准则补识别，目标找不到则补grounding，路径走偏再补导航图与动作示范。线上发现的错误也可以整理后进入下一轮。

Pyromind Studio用于管理数据集、基础模型、训练参数、计算资源、奖励函数和评估配置。模型权重、日志和指标与对应配置关联，换数据或调整课程阶段后，可以沿用已有配置，而不必从零搭建训练流程。

焦点识别是课程学习的第一课，也是后面目标定位和路径输出能够稳定下来的前提。上述焦点、“可见即可说”和搜播指标，均在同一套Android TV测试环境中统计；后两项对应不同形态的业务任务，前者是当前屏短程定位，后者是跨页面搜播。

焦点识别训练前后对比

5.Reward Data Flywheel：

让每一次任务成为下一轮训练数据

Pyromind将带评价信号的任务轨迹称为Reward Data：重点是整段轨迹附带了能否回流训练的反馈，而不是每一步都有稠密打分。冷启动阶段，信号来自大模型预标注和人工核对；飞轮阶段，主要看结构化输出能否解析、整段任务是成功还是失败。失败轨迹若要补进焦点、grounding或路径课程，还需抽检归因，不能只靠成败标签。

欢网项目验证了Reward Data Flywheel的完整路径：

真实任务→真机跑轨迹→结果评价（Reward Data）→抽成训练样本→后训练→模型更新→再次运行

真实任务、结果评价与模型更新的循环路径

这条路径保留了业务任务、评价信号、训练数据和模型版本之间的对应关系。每次更新用了哪些任务、筛过什么结果、对应哪一版模型，都可以沿着记录追溯。

欢网提供业务环境与任务数据，Pyromind将已有的场景后训练、实验管理和Reward Data Flywheel产品能力应用于AITV。新增任务和错误样本可以继续沿用已有工作流进入数据处理、后训练和模型评估，使模型能够随App、设备和业务需求的变化持续更新。

6.从电视到更多Agent场景，

可迁移的是更新机制

AITV当前验证的是Android TV场景，后续迭代可以纳入新的电视App、设备类型和任务。酒店电视、教育大屏、会议终端、商场导览屏和自助服务设备也存在相似需求：Agent需要读取界面状态，根据用户目标选择动作，并从执行结果中判断任务是否完成。

进入新的终端场景时，环境、动作空间、训练数据、Reward和安全边界都需要重新定义。课程学习的安排、轨迹的记录方式、大模型预标注加人工核对的冷启动，以及小模型跑任务再回流的飞轮，可以复用；面向新终端的模型仍需重新训练和验证。

欢网项目完成了Reward Data Flywheel在Android TV场景中的实例验证。这套更新机制也适用于其他需要连续执行和结果反馈的 Agent 任务。软件 Agent 操作界面与工具，具身 Agent 在物理环境中感知并执行动作。两类Agent的环境、动作空间和安全要求不同，但都需要记录真实任务、评价执行结果，并将反馈转化为下一轮训练所需的Reward Data。

AITV上线后，新的App、设备、任务和错误仍会持续出现。Reward Data Flywheel将这些业务变化转化为下一版模型的训练信号，使模型更新能够跟上产品迭代。

在现有合作基础上，欢网与Pyromind将继续迭代AITV方案，围绕智能搜片、可见即可说、大小屏互通、轻量化端侧AI以及更多电视App和设备，补充任务数据与评价标准。双方也将继续验证这套训练和更新方法在更多家庭大屏场景中的应用，推动产品体验与部署效率进一步改善。

（封面图来源：摄图网）

END.