#经验回放 (1)

面向世界动作模型的无数据持续学习：整流生成回放

基于预训练视频生成模型的世界动作模型（WAM）能快速适配新机器人任务，但在顺序微调下会遗忘旧任务。经验回放（ER）靠重演旧任务数据缓解遗忘，而机器人场景中策略往往只以权重形式部署、训练数据并不随权重共享，旧数据常常不可得。本文研究 WAM 能否通过重生成自己的过去实现无数据持续学习：关键观察是 WAM 可以自回归地重生成旧任务的完整 rollout 并回放以缓解遗忘，但直接回放原始 rollout 仍远不如回放真实数据，原因有二——其一，WAM 无法识别任务已完成，在任务结束后继续生成无目的动作；其二，开环生成下生成的动作会逐渐偏离生成的观测。为此提出整流生成回放 R²-WAM：用智能体式评估器在任务完成处截断生成的 rollout，并滤除动作与观测物理不一致的 rollout。在 LIBERO 四个套件与五个真实世界任务上，R²-WAM 相比顺序微调将遗忘降低 90% 以上，且在完全不接触旧任务数据的前提下接近经验回放的效果。分析进一步揭示 WAM 的遗忘集中在逆动力学建模：被遗忘的 WAM 仍能生成旧任务视觉上合理的观测，但其生成的动作已经失败。