从视频到视觉：从人体动作学习可泛化的人形机器人搬运

三阶段强化学习：先学会做，再学会换位置，最后学会少看信息

第一阶段把问题建成部分可观测马尔可夫决策过程，使用 PPO 训练。动作空间直接输出全身关节角，观测包含机器人本体、物体状态和参考轨迹。教师采用非对称演员评论家结构：评论家可以读取参考中的身体位置与朝向，演员则不读取锚点线速度。

教师奖励由五组项组成：身体跟踪、物体跟踪、引导接触、正则惩罚和脚底滑动惩罚。身体与物体跟踪采用指数型误差奖励：

$$ r(\bar e_s,\sigma_s) = \exp\left(-\frac{\bar e_s}{\sigma_s^2}\right). $$

误差越小，奖励越接近一；误差扩大时，奖励快速下降。作者没有跟踪全部身体段，而是只跟踪脚、腿、上臂等关键部位，并让朝向项的权重高于位置项。这个选择降低了多余自由度带来的优化难度，也减少机器人为了追一个标记点而摆出不自然姿态。

第二阶段仍是助手训练，但奖励发生了变化。全局锚点位置跟踪被移除，机器人自身身体位置跟踪也被移除，身体朝向、物体位置和接触奖励保留并增强。论文同时增加关节角越限终止条件，因为取消身体位置约束后，策略更容易用极端姿态换取物体跟踪。

这一步直接解释了 MOVER 与普通模仿学习的差别。教师学会“照着轨迹做”，助手则被迫根据物体和接触关系重新组织全身动作。物体横向偏移增大时，助手不会执着于参考中的落脚点，而是寻找新的接近方向。

第三阶段用 DAgger-PPO 把助手蒸馏成学生。学生不再接收本体位置观测和参考关节位置，只保留参考锚点朝向误差、关节位置、关节速度、基座角速度、上一动作、物体相对位姿与接触点等信息。本体历史长度为 5，用来补偿单帧观测中的速度和遮挡波动。

若把参考动作全部删掉，策略会失去搬运方向的直接提示，因此作者保留锚点朝向项。学生与助手之间的策略差异通过模仿损失约束，策略本身仍接受 PPO 优化。论文给出的设置是前 3000 步进行 DAgger 模仿，之后引入 PPO 损失，模仿项系数为 1.0，PPO 项系数为 0.1。

这条课程式训练路线可以概括为下面的数据与方法流：

flowchart LR
    V["100 human videos"] --> G["GENMO motion recovery"]
    G --> R["GMR retarget to 29-DoF Tiangong 3.0"]
    R --> A["Object and contact augmentation"]
    A --> D["4000 reference trajectories"]
    D --> T["Stage 1 teacher: full tracking"]
    T --> S["Stage 2 assistant: relax body position"]
    S --> P["Stage 3 DAgger-PPO student"]
    P --> Q["QuatNet and RGB-D relative object pose"]
    Q --> H["Mocap-free physical deployment"]
    

图中最容易被忽略的是阶段之间的单向依赖。助手不是重新从零训练，而是从教师继续；学生也不是简单监督回归，而是在助手访问到的状态分布上接受 DAgger 纠正。每一阶段都在扩大上一阶段的可用状态范围。

QuatNet 与视觉：用相对位姿替代参考动作

第三阶段已经去掉了本体绝对位置，但策略仍需要知道“下一步身体应该朝哪里”。QuatNet 负责从当前状态回归参考锚点四元数。输入共 39 维，包括物体相对位姿、关节位置和目标位置；网络使用两层长短期记忆结构，输出 4 维四元数。

训练数据来自 500 条动作序列，约 100 万帧，验证集占 20%。监督目标是参考运动中的锚点四元数，损失写作

$$ \mathcal{L}_{\mathrm{quat}} = \left\| \mathbf{q}_{\mathrm{pred}} - \mathbf{q}_{\mathrm{gt}} \right\|_2^2. $$

论文训练 5000 个轮次，并记录训练损失、验证损失、旋转角误差和四元数差异。曲线显示误差在训练后期趋于稳定。这个模块的价值不是替代完整的全身规划，而是给策略一个不依赖动捕的参考方向。

真实部署时，头戴 RGB-D 相机检测贴在物体上的基准标记。令骨盆、相机、标记和物体坐标系分别为 $P$、$C$、$M$、$O$，物体在骨盆坐标系中的位姿由三段变换相乘得到：

$$ {}^{P}\mathbf{T}_{O}(t) = {}^{P}\mathbf{T}_{C}(\mathbf{q}_t) {}^{C}\mathbf{T}_{M}(t) {}^{M}\mathbf{T}_{O}. $$

相机相对骨盆的位置不固定，因为头部会转动。系统通过当前头部关节配置和标定外参计算 ${}^{P}\mathbf{T}_{C}(\mathbf{q}_t)$，再把标记检测结果与固定的标记物相对变换合成为物体相对位姿。

遮挡处理结合视觉和手部前向运动学。每次标记测量先检查重投影误差与时间一致性，再做平滑；短时丢帧时用最近有效测量传播物体位姿；抓取后手物变换近似固定，因此标记被手臂遮住时可以由双掌前向运动学更新物体位置；长时间看不到标记则不盲目前进，而是等待下一次有效观测。

实验设置与主结果

训练在 Isaac Lab 中完成，所有仿真评测转到 MuJoCo。评测包含四个物体位置和两种形状尺寸配置，成功定义是机器人把物体搬到目标点 0.3 米范围内。除搬运成功率外，作者还报告抓取成功率和最终物体位置误差。

下表选择每个位置的第一种尺寸配置，对比 HDMI、OmniRetarget、助手、学生和带 QuatNet 的学生。成功率单位是百分比，误差单位是米。

助手策略在位置偏移较大时最稳定，位置 2、3、4 的搬运成功率分别为 90.4%、88.1% 和 86.9%，误差都在 0.1 米以内。它依赖全局位置观测，但正因如此，它能更准确地判断目标在哪里。学生去掉位置观测后，抓取动作仍然可靠，搬运成功率却明显下降，说明抓取与导航依赖的输入并不相同。

这组结果也修正了“蒸馏一定让最终学生全面超过助手”的理解。学生的主要收益是观测更少、能部署到无动捕环境；代价是目标方向更模糊。论文在误差分析中指出，实际落点常略微越过目标，这与学生缺少绝对本体位置后的距离估计误差一致。

阶段消融进一步展示了每个设计点的作用。下表每个位置仍以“搬运成功率 / 抓取成功率 / 误差”排列：

教师与助手在零偏移位置几乎相同，但位置 4 的搬运成功率从 68.6% 提升到 89.5%，误差从 0.345 米降到 0.071 米。这个差异比位置 1 更能说明第二阶段奖励改写的价值。学生把抓取成功率推到接近 100%，却因为失去位置线索而降低了远距离放置成功率，形成一组很清晰的取舍。

QuatNet 没有完全补回缺失的位置信息。带 QuatNet 的学生在位置 1 达到 94.9%，位置 3 为 57.4%，但位置 2 降到 29.1%，位置 4 为 32.4%。作者的解释是，参考动作提供的是连续方向提示，而 QuatNet 预测的是当前锚点朝向，后者更间接，误差会沿搬运过程累积。

真实机器人测试展示了无动捕部署的可行性。动捕室内运行带全局观测的助手，普通房间运行使用视觉学生的策略。每个位置只做 10 次试验，因此这些比例适合作为工程可行性证据，不应被当成高精度统计估计。

真机结果显示，视觉版本在每个位置都比动捕版本少成功一次，误差也更大。差距没有在仿真中那么剧烈，但试验次数有限，且物体带有便于检测的基准标记。系统完成的是从视频参考到无动捕执行的闭环，而不是对任意未知物体的一次性泛化。

方法边界与工程含义

MOVER 的有效性来自观测、奖励和数据三者的同步变化。只做物体增强，教师仍会追参考位置；只改奖励，策略可能在未见过的新尺度上碰撞；只做蒸馏，助手访问不到的状态无法被学生正确模仿。论文把这三件事串成课程，避免了单点修补。

从系统角度看，QuatNet 和视觉位姿估计承担的是部署接口，而不是完整感知模块。物体位姿来自已知标记，系统知道标记到物体中心的固定变换。对任意形状的未知物体，仍需要额外的物体建模、语义关键点或抓取点估计。视觉遮挡时暂停等待测量，也说明当前闭环对感知可靠性有明确要求。

数据规模是最主要的瓶颈。100 段视频覆盖了搬运动作，但作者自己指出，训练数据量仍显不足，对物体形状和动作模式的泛化有限。4000 条轨迹提高的是同一动作类别内的组合覆盖，不能替代陌生任务、复杂障碍或多人物交互的数据。

另一个边界是目标定位。学生移除本体绝对位置后，策略需要从物体与目标的关系推断行进距离。QuatNet 只给出参考朝向，视觉模块主要解决物体相对位姿，目标位置仍需由策略观测提供。这个设计与论文中位置较远时成功率下降的结果相互印证。

局限性

作者明确承认两点。第一，视频训练数据不足，物体形状和动作模式的泛化仍有限；第二，去掉本体位置观测后，学生无法完全保持目标位置的估计精度，论文中也能看到位置 2 和位置 4 的成功率明显下降。这两点不是实现细节，而是当前方法的结构性限制。

独立来看，本文还有三项需要后续验证的风险。其一，物体检测依赖基准标记，真实家庭中的反光、透明、柔软或严重遮挡物体并不满足这个前提。其二，真机每个位置只有 10 次试验，缺少置信区间、随机种子和跨机器人的重复实验，难以判断差异是否稳定。其三，仿真训练与真机部署之间仍有动力学、关节摩擦和感知延迟差异，论文没有系统给出这些因素的扰动实验。

实验设计也有解释空间。HumanX 在表中全部为 0，说明它没有在当前搬运设置下完成任务，但论文没有展开失败原因；这能证明基线不适配该任务，却不能单独推出方法在所有能力维度上都优于基线。OmniRetarget 在位置偏移增大时误差达到米级，说明以轨迹重定向为主的方法对空间分布变化非常敏感。

总结与展望

MOVER 的主要贡献是把视频动作、物体增广和三阶段强化学习连成一条可部署链路。教师提供稳定全身控制，助手通过删除身体位置奖励获得空间泛化，学生再通过 DAgger-PPO 去掉动捕依赖。QuatNet 与头戴 RGB-D 感知让系统在普通房间中仍能获得物体相对位姿和参考朝向。

最值得继承的设计是“逐步删除信息”，而不是在最终部署时突然把一堆观测置零。策略先在较完整观测下学会任务，再在有辅助模块时将观测空间收缩，最后在真实感知噪声下执行。对需要从仿真迁移到真实机器人的操作任务，这比单纯扩大网络或增加视频数量更接近系统问题本身。

下一步最自然的方向包括：用无标记视觉或三维基础模型替代基准标记，增加不同物体和搬运动作的视频覆盖，把目标位置估计纳入可学习模块，并在更多机器人平台上报告带置信区间的真机实验。只有这些环节补齐，MOVER 才可能从特定物体、特定任务和无动捕房间的演示，走向开放环境中的通用人形搬运。

把人形机器人的泛化拆成三步：先把动作学会，再把位置放开，最后才把不该依赖的传感器拿掉。