世界动作模型的“自训练”红利：无专家示范，从自我想象中迭代进化

在世界动作模型的训练中，不依赖新增专家示范，也不将候选动作放入外部环境进行试错，模型能否凭借自我想象实现持续进化？

目前，一些模型已能同步预测未来视频和机器人动作，并将视频预训练中积累的知识迁移到不熟悉的任务上。然而，这些模型往往难以保持稳定表现。视频中看似完成了任务，但对应的动作却可能与画面不匹配，生成的结果也无法直接用于训练。

EVO-WAM 正是聚焦于这一问题：能否从模型自行生成的轨迹中提取可靠经验，以提升其在未见任务上的表现？

它让模型自主生成完整的执行画面与动作，筛选通过验证的经验，再利用这些经验进行自我训练，形成 想象→验证→学习 的循环迭代。

经过几轮迭代后，在基本保持已见任务性能的同时，模型 Cosmos3 在七个未见仿真任务上的平均成功率从 26.9% 提升至 68.0%；在三个未见真机长时序组合任务上，从 20.0% 提升至 76.7%。

模型自身的生成结果能否作为训练数据？

世界动作模型（World Action Model，WAM） 的一个特点在于，生成动作的同时，也生成这些动作预期对应的未来画面。这使它有机会自行构建训练所需的视频与动作轨迹。

这种机会源于模型已掌握的知识。视频预训练覆盖了大量物体运动、接触和场景变化，即使某个任务未出现在机器人示范中，模型仍可能产生有用的行为。论文观察到，在相同初始条件下，多次生成的结果中既有失败尝试，也有描绘任务完成的轨迹。

如果能识别出其中可靠的部分，就有可能将这些偶然出现的成功尝试转化为学习信号。已有研究利用单独的世界模型为策略提供经验，而 EVO-WAM 则进一步利用 WAM 自身联合生成视频和动作的能力，为未见任务提供监督。

首先要解决的是，如何让模型独立生成完整过程。常规闭环执行中，机器人完成一段动作后，会收到真实摄像头画面和新的机器人状态，模型再据此预测下一段。自我想象缺乏这种外部反馈，后续生成所需的信息必须由模型自行补充。

为此，EVO-WAM 让 WAM 同时预测每段结束时的机器人状态，并使用最近生成的多帧画面继续预测。初始画面也会一直保留，作为物体和场景的参照。这样，模型便能从一张初始观测、机器人状态和任务指令出发，逐段生成完整候选轨迹。

视频中的成功还需要动作来验证

轨迹能够生成，并不意味着它已适合用于训练。EVO-WAM 需要回答两个问题：任务是否完成？生成的动作与视频是否一致？

第一个问题交由视觉语言模型（VLM）处理。系统让 VLM 先描述画面中的物体与变化，再根据视觉证据判断目标是否达成。对于包含多个子任务的指令，需要检查相应条件是否满足，并找出完成任务的片段终点。

以放鸭子的生成结果为例，有的轨迹未将鸭子放入碗中，有的画面中则多出了一只鸭子。这些错误会导致生成内容偏离任务或初始场景，不能直接作为成功经验保留下来。

但仅靠视觉判断，还有一类问题容易被忽略：视频中的机械臂完成了操作，但配套的动作并未描述同样的运动。仅看最终画面，很难发现这种不一致。

EVO-WAM 因此引入 逆动力学模型（IDM）。它根据视频中相邻观测的变化反推动作，再与 WAM 生成的动作进行比较。误差超过阈值的候选会被拒绝；满足任务完成和动作一致性要求的片段，才进入训练数据。

这一步为生成经验增加了动作层面的检查。IDM 提供的是一致性检验，最终效果仍需通过真实执行评估。它的价值在于，筛选时不需要将每条候选动作都放入环境中试一遍。

把可靠经验留下来再学一轮

通过验证后，EVO-WAM 保留从起点到任务完成位置的有效片段，而非无条件收下整段生成结果。这样，训练可以集中在已验证的任务过程上，避免后续生成的无关动作混入成功示范。

这些片段会跨轮次积累，与原始训练数据一起用于微调 WAM。更新后的模型再次生成候选，接受验证，再进入下一轮训练。模型的生成能力因此成为后续学习的数据来源。

这里的自我改进发生在 训练阶段。初始场景、机器人状态和任务指令仍需提供，基础模型也已接受过训练；省去的是为这些新任务额外采集专家示范，以及在筛选过程中执行候选动作获取反馈。

对于长时序组合任务，这条路径尤其值得研究：新任务的完整专家轨迹不易获得，但模型可能已掌握其中一些运动和交互规律。EVO-WAM 尝试从它自行生成的完整过程中，筛出可以继续学习的经验。

从仿真到真机检验新任务表现

研究团队在两种 WAM 骨干和两类环境中进行了评估。这里的“未见任务”，指这些任务未出现在基础模型训练中；自训练阶段，模型会针对这些任务生成并学习自己的经验。

在 RoboTwin 2.0 的七个未见任务上，经过四轮自训练，Cosmos3 的平均成功率从 26.9% 提升至 68.0%，提升 41.1 个百分点；DreamZero 从 28.5% 提升至 46.4%，提升 17.9 个百分点。不同骨干都能受益，具体任务上的增幅则有所不同。

真机实验包含叠碗、将两只鸭子放入对应颜色的碗，以及打开空气炸锅抽屉后放入面包三个长时序组合任务。下面展示其中两项任务在自训练前后的真机表现。

空气炸锅任务则需要先拉开抽屉，再将面包放入。

每个策略在每项任务上测试 10 次，Cosmos3 的平均成功率从 20.0% 提升至 76.7%，提升 56.7 个百分点。

动作验证究竟带来了多少帮助？在相同起始策略下，仅使用 VLM 检查视觉完成情况，第四轮平均成功率为 43.7%；加入 IDM 动作一致性检查后，达到 68.0%。这说明，画面上的成功还不足以筛出高质量的动作监督。

验证器也不必固定为一个模型。保留 IDM，将任务判断模型换成较小的 Qwen3.5-27B 后，第四轮仍达到 65.7%。研究还发现，Cosmos3 在已见任务上的表现基本得到保留。

提升并非每一轮都单调发生。Cosmos3 在仿真中的收益主要出现在早期，第三轮曾有回落，第四轮再恢复；真机也存在轮次间波动。这提示，自训练效果仍取决于生成候选的质量和验证的可靠性。

自我想象也能成为泛化的来源

EVO-WAM 展示了一条利用 WAM 自身生成经验改善新任务表现的路径：从视频预训练带来的知识出发，用任务完成和动作一致性验证筛选经验，再通过训练把这些经验转化为更好的执行能力。

这些结果表明，具身智能在新任务上的提升，未必每一步都依赖新增真实示范或环境试错。模型自身的想象，经过可靠验证并用于训练，也能成为改善泛化能力的经验来源。

论文：EVO-WAM: Evolving World Action Models through Video-Action Verification

arXiv：https://arxiv.org/abs/2609.38057

项目主页：https://evo-wam.github.io/

GitHub：https://github.com/Clausy9/EVO-WAM

Hugging Face Daily Paper：https://huggingface.co/papers/2609.38057

实现与实验细节咨询：Shiyang Zhou，[email protected]

本文来自微信公众号“量子位”，作者：EVO-WAM 团队，36氪经授权发布。此外，相关技术细节与最新动态也可在 今年会官网 查阅。