PAPER DEEP DIVE
Movens-Zero：用大规模人类视频扩展人形动作基础模型
Movens-Zero 从互联网人类视频构建五百万条可执行人形动作，统一文本、视频、语音与音乐条件，并以实时分块闭环驱动 Unitree G1。
一句话总结
这篇论文没有只训练一个“文本生成动作”的模型，而是先把互联网人类视频加工成五百多万条经过物理修复与闭环跟踪验证的 Unitree G1 动作，再用统一的多模态编码器和流匹配动作专家把这些动作变成可由低层控制器实时执行的参考轨迹。它真正要证明的是：动作基础模型的扩展规律取决于数据是否可执行，而不只是序列数量是否足够大。
问题不在于视频里有没有人，而在于动作能不能被机器人执行
互联网视频提供了机器人遥操作和动作捕捉难以覆盖的行为多样性。一个人可以在厨房、球场、舞台或街头完成复杂动作，采集成本远低于组织数百名演员进入动捕棚。但原始视频不是动作数据：镜头会移动，人物会被遮挡，摄像机的尺度与重力方向不明确，人体骨架估计还会在快速运动或多人交互时跳变。把这些问题简单留给模型，本质上是在要求生成器从噪声里同时学习视觉、几何和机器人动力学。
更棘手的差异来自人体与人形机器人本身。人的肢体比例、关节自由度、足部几何、驱动能力和平衡策略都与 G1 不同。一段在视频中看起来自然的动作，重定向后可能出现膝关节超限、脚底滑动、身体自穿透或重心无法支撑。运动学上可视化的轨迹也不一定能在闭环控制器里稳定复现。论文把这一层称为“可执行性”，并把它作为数据筛选与模型训练的中心约束。
因此 Movens-5M 的目标不是把现有动作数据集相加，而是从视频重新建立一个可审计的数据工厂。每条记录都保留源视频、时间片段、文本、音频、恢复的人体运动、重定向的人形轨迹和至少一次仿真执行结果。这个稳定身份使研究者能够追溯“某个动作为什么被保留”，也让数据规模、清洗阶段和模型表现之间的因果关系可以被单独测量。
整体路线：理解、生成、执行三段式
Movens-Zero 的总体结构可以概括为理解、生成、执行三个连续阶段。冻结的 Qwen2.5-Omni-3B 读取文本、视频帧或音频，并输出带注意掩码的 2048 维上下文 token；动作专家以这些 token、当前 40 维机器人状态、上一段未执行的动作尾部和时间进度为条件，通过条件流匹配生成 50 Hz 的短动作块；低层全身控制器再把参考动作变成仿真或真实 G1 的控制输入。
图 1：多模态理解模型、流匹配动作专家与低层跟踪控制器共同组成闭环系统，Movens-5M 则提供可执行动作监督。
flowchart LR U["文本 / 语音 / 音乐 / 视频"] --> Q["冻结的 Qwen2.5-Omni-3B"] Q --> C["上下文 token
2048 维"] S["当前 G1 状态
40 维"] --> A["流匹配动作专家"] C --> A P["上一段未执行尾部
干净前缀"] --> A A --> M["预测 30 帧
50 Hz 参考动作"] M --> E["执行前 20 帧"] E --> T["全身跟踪控制器"] T --> R["仿真或真实 G1"] R --> S
这种分工避免了两个常见极端。第一，语义模型不需要直接回归低层力矩，因此仍可利用大规模视觉语言预训练。第二，动作专家不承担原始像素和长语音的全部理解负担，只需学习条件 token 与机器人动作空间之间的映射。执行控制器则负责高频稳定性和硬件约束。三者通过同一个动作表示连接，接口比端到端单体模型更清晰，也更容易在代码中替换检查点或控制器。
Movens-5M：从互联网视频到可执行轨迹
数据构建从媒体完整性和镜头边界开始。长视频先验证时长、分辨率、帧率与音轨是否可读，再由 AutoShot 按镜头切分。拆分在原始视频层面完成，之后才生成时间片段，避免同一视频的相邻窗口同时进入训练和评测。每个片段保留来源标识与帧偏移，近似重复素材在跨集合层面被移除。这里的工程选择看似普通，却决定了后面所有指标是否有可信的泛化含义。
图 2：原始网络视频经过切分、视觉与运动过滤、语义标注、人体恢复、物理修复、重定向和跟踪验证，最终得到 G1 可执行动作。
质量过滤同时检查“画面是否值得用”和“画面中是否真的有身体运动”。DOVER 等指标剔除严重模糊、压缩损伤或构图失败的素材，Qwen3-VL 判断人物是否清晰可见且身体动作是主要内容。只有人物相关性达到阈值才保留：
$$s_{\mathrm{human}}\geq 0.90$$如果只看视觉美观，静止人像、游戏动画或镜头运动都可能被误判为动作视频。论文因此用 RAFT 光流与人体掩码把人物运动和背景运动分开，检测硬切、主体消失、瞬移和背景突变。它并不简单地拒绝快速肢体运动，而是寻找“与人体无关的时序断裂”，这使剧烈但真实的动作仍有机会通过。
通过初筛后，标注系统建立视频级描述、局部动作时间线、结构化动作与场景标签，以及语音和音乐条件。动作时间线覆盖全身、上下肢、手与面部，并要求时间区间连续且不重叠。人体恢复首先使用 GVHMR 处理单人视频，用 PromptHMR 处理多人、遮挡和交互场景，然后把不同估计器的结果统一到 SMPL-X。为了排除“镜头在动、人几乎没动”的伪样本，论文去掉全局根位移和朝向，只统计远端关节在人体尺度归一化后的运动幅度：
$$A_{\mathrm{limb}}\geq 0.08$$这条阈值保存了原地挥手、蹲起或武术动作，同时删除主要靠摄像机推进制造运动感的片段。它比单纯要求人物占画面比例更大、位移更多更接近动作数据真正需要的内容。
人体恢复之后还有两层物理闭环。第一层把 SMPL-X 序列切成四秒片段，相邻片段重叠半秒，检查地面接触、时序抖动、跌倒风险、自穿透和双脚滑动。失败区间会用 Kimodo 在可信边界条件下局部重生，再重新检查目标区间与邻域。第二层把修复后的人体动作通过 GMR 做形态感知重定向，联合优化整段轨迹的根平移与关节，加入速度、位置、接触和脚滑约束。最终每条轨迹都要在仿真中由一个或多个跟踪策略回放，只有跟踪分数达到门槛才保留：
$$q\geq 0.20$$论文最多使用 SONIC、Humanoid-GPT、HoloMotion 和 OmniXtreme 四种策略组成的策略库，但保留条件是至少一个回放成功。这不是硬件成功率实验，却有效地排除了“看起来合理、控制器完全跟不上”的动作。也正因为这种筛选偏向可跟踪行为，极限动作和无法稳定接触地面的动作会系统性变少，这是数据集规模背后必须承认的选择偏差。
数据增强不是提示词扩写，而是生成后重新验收
网络视频天然偏向常见、短时、容易拍摄的动作，长时组合和极端动态行为仍然稀缺。论文对尾部类别做三类扩展：保持细粒度动作类不变的改写、把三到六个子动作按时间组合成长任务、以及主动设计高速旋转、倒置、平衡和大范围支撑转换等极端条件。关键在于，改写必须改变具体动作实例，而不能只替换形容词或场景描述。
为了避免“新句子描述旧动作”，论文把原描述集合与改写集合共同编码、投影并计算最近邻距离。一个改写描述的新颖度定义为：
$$d_{\mathrm{nov}}(\tilde c)=\min_{c\in\mathcal{C}}\left\|\pi(\tilde c)-\pi(c)\right\|_{2}$$候选必须先超过由原始描述近邻分布校准出的阈值，随后才进入动作生成。对于长任务，模型逐段生成并把末端状态、状态历史和动作前缀带入下一段，不在子动作边界重置机器人。这样得到的是连续轨迹，而不是把几段独立动作简单拼接。
图 3：增强数据先扩展语义与难度，再生成动作，最后由跟踪回放和视觉语言模型共同验证。
生成动作仍可能语义漂移或执行失败，所以最后一步不是人工目检，而是双重验收。候选先在仿真中闭环回放，再把机器人渲染视频与条件描述交给视觉语言模型，判断可观察的全身动作是否与描述相容。给定“是”和“否”两个受限回答的 logit，语义一致性写成：
$$s_{\mathrm{sem}}(v,\tilde c)=\frac{\exp(z_{\mathrm{yes}})}{\exp(z_{\mathrm{yes}})+\exp(z_{\mathrm{no}})}$$只有通过跟踪门槛且语义分数超过阈值的数据才会加入训练。这个闭环把“模型会生成好看的动画”与“生成结果能被执行且仍表达原意”分开验证。它的弱点也明确：机器人渲染会丢失物体、场景和外观，因此评测提示刻意不惩罚这些不可恢复的信息，这也意味着涉及复杂物体交互的增强仍需要真实场景或额外物体验证。
规模和多样性：五百万条可执行动作到底覆盖了什么
最终数据集包含约 1500 万条人体动作序列和 500 万条通过验证的人形动作序列，总时长超过 10000 小时，合计 10.8 亿帧，覆盖 297 个细粒度动作类型与 16 类场景。它不是把 1500 万条人体数据全部当作机器人数据，而是明确区分“恢复了人体运动”与“已通过 G1 执行验证”两个层级。
| 维度 | Movens-5M | 说明 |
|---|---|---|
| 人体动作序列 | 1500 万 | 完成视频恢复与 SMPL-X 标准化 |
| 可执行 G1 序列 | 500 万 | 完成重定向并通过至少一个跟踪策略验证 |
| 总时长与帧数 | 超过 10000 小时 / 10.8 亿帧 | 规模按完整构建流水线统计 |
| 语义覆盖 | 297 类动作 / 16 类场景 | 包含日常、健身、运动、舞蹈、移动、表演与手势 |
| 验证策略 | 最多 4 种 | SONIC、Humanoid-GPT、HoloMotion、OmniXtreme |
图 4：时长密度、层级动作构成、场景构成与动作场景关联共同说明数据集不是单一舞蹈或行走集合。
图 5 进一步把八个动作数据集投影到同一个 G1 动作空间。描述子只使用 61 帧、29 个驱动关节的均值中心化角度与速度，不把全局根轨迹、文本或视频外观放进投影。这个控制很重要：如果比较中混入数据集来源或视觉风格，聚类结果可能只是识别“来自哪个数据集”，而不是比较动作空间覆盖。
图 5：Movens-5M 与动作捕捉、视频恢复及机器人动作数据在统一 G1 关节空间中比较，右侧给出细粒度动作及源视频。
多样性本身仍不等于质量。论文用同一套 G1 参考指标和 SONIC 回放比较九个数据集。Movens-5M 的关节可行性达到 100%，非穿透达到 100%，跌倒率为 0%，关节限位违规率为 5.71%；其跟踪分数为 0.325，高于表中其他数据集。与此同时，非悬空得分只有 90.05，低于 PHUMA 的 92.05，说明足地接触仍是弱项。论文没有用单一综合分掩盖这个缺陷，这一点值得肯定。
Movens-Intent：把四种“人想怎么指挥机器人”放进同一评测
如果文本、视频和音频各自使用不同机器人、不同动作表示和不同评测脚本，就无法判断模型究竟是跨模态理解更强，还是只在某条工程链路上占优。Movens-Intent 为四种输入各准备 2048 对条件与动作，共 8192 对，全部以 G1 为目标，并保证源视频身份和近似动作不与训练集重叠。最终样本还经过专家检查，覆盖语义、同步、重建伪影、足地接触和跟踪结果。
图 6：相同 G1 动作目标可以由文字、完整语音、音乐节奏或演示视频条件触发，评测仍按各模态的自然时间尺度组织。
四条评测轨道没有被强行压成同一种任务。文本使用 FID、匹配距离、R@1/2/3 和多样性；音乐使用 BeatAlign、FID-k、FID-g 与物理接触指标；语音保留完整口述命令并报告检索与执行指标；视频同时报告相机空间、世界空间、根轨迹、抖动和脚滑。共享部分则统一到 G1 动力学与 HoloMotion 跟踪回放。这样的设计允许比较模型，但不会把一个音乐节拍分数和视频重建误差伪装成同一种“能力总分”。
| 轨道 | 每轨样本 | 主要条件 | 核心指标 |
|---|---|---|---|
| 文本 | 2048 | 单句可见动作描述 | FID、匹配距离、R@3、多样性、跟踪 |
| 语音 | 2048 | 16 种平衡英文语音 | 语音语义检索、FID、MPJPE、跌倒与限位 |
| 音乐 | 2048 | 完整对齐音乐与动作 | BeatAlign、FID-k、FID-g、PFC |
| 视频 | 2048 | 完整 RGB 与参考动作 | WA-MPJPE、W-MPJPE、根误差、抖动、脚滑 |
40 维动作接口：为什么不是直接预测 29 个关节角
生成器和跟踪器共享一个 40 维的单帧动作表示。前 29 维是绝对关节角，随后是根节点在重力对齐块锚坐标系中的二维平面位移、六维根朝向、世界高度和左右脚接触。位置、旋转与接触都围绕当前块锚表达，因此模型不需要在每一帧重新猜测全局朝向，观测历史只用于确定锚点。
$$\mathbf{x}_{j}=\big[\mathbf{q}_{j},\Delta\mathbf{r}^{\mathrm{anc},xy}_{j},\bm{\rho}^{\mathrm{anc}}_{j},h_{j},c_{j}^{\mathrm{L}},c_{j}^{\mathrm{R}}\big]\in\mathbb{R}^{40}$$这个接口不是论文临时发明的抽象。官方代码 movens_zero/root40.py 明确把 0 到 28 维设为 IsaacLab 顺序的绝对关节，29 到 30 维设为锚点坐标系中的帧间位移，31 到 36 维是旋转矩阵前两列，37 维是世界高度，38 到 39 维是脚接触。朝向锚只允许绕重力轴旋转，并通过观测到的最新稳定前向轴选择；如果投影过小，则退回到侧向轴，避免机器人接近倒置时方向突然翻转。
三维旋转不能直接回归九个矩阵元素，因为网络输出不保证正交；欧拉角又有奇异点。六维表示取旋转矩阵前两列再正交化，既连续又便于网络学习。接头接触通道则让生成器显式表达支撑切换，而不是完全依赖低层控制器从关节轨迹中猜脚是否着地。把语义生成与接触约束放入同一动作 token，是 MM-RTC 能在重规划时保留接触状态的前提。
闭环生成：预测整块，只执行前二十帧
模型每次预测 30 帧动作，但只把前 20 帧交给跟踪控制器，剩下的 10 帧作为下一次预测的重叠区。若总时域为 $H$，单次提交时域为 $H_{\mathrm c}$，则保留的干净前缀长度为：
$$K=H-H_{\mathrm c}$$在论文配置中，$H=30$、$H_{\mathrm c}=20$、$K=10$。这个选择对应 50 Hz 下 0.6 秒预测、0.4 秒执行和 0.2 秒重叠。重叠太短会让条件切换和控制器误差形成硬缝，重叠太长又会减少新条件影响未来的空间。MM-RTC 通过“提交一部分、保留一部分、重新观测状态”在这两者之间折中。
第 $n$ 步的生成可以写作：
$$\hat{\mathbf X}_{n}=G_{\theta}\!\left(E_{\psi}(\mathbf{u}_n),\mathbf{s}_n,\mathbf{P}_n,\mathbf{g}_n\right)$$其中 $\mathbf{u}_n$ 是多模态条件，$\mathbf{s}_n$ 是最新机器人状态，$\mathbf{P}_n$ 是上一段尚未执行的动作尾部，$\mathbf{g}_n$ 是参考动作时间线上的进度编码。下一次生成时，旧尾部会按新锚点重新编码，但预测的脚接触通道会被保留；模型随后只重新生成未知后缀。这样做不是把新结果简单拼接在旧结果后面，而是在当前坐标系中保持未执行动作的连续性。
时间进度不是一维归一化位置就够了。动作专家还为每个 token 加入开始位置、剩余进度和正余弦相位：
$$\mathbf g_{n,j}=[p_{n,j},1-p_{n,j},p_n^{\mathrm{start}},\sin(2\pi p_{n,j}),\cos(2\pi p_{n,j})]$$这样，模型既能区分两个相似姿势处在长动作的前段还是后段，也能在滑动窗口更新时保持接近周期的节奏。对于“先走两步、停下、再抬手”这类长时组合，动作 token 的绝对位置不足以表达整段语义；未来进度和当前窗口起点提供了额外的时间坐标。
flowchart LR I["第 n 次预测
30 帧"] --> X["执行前 20 帧"] X --> O["控制器与机器人反馈"] I --> P["保留后 10 帧"] P --> R["新锚点重编码
保留脚接触"] O --> N["第 n+1 次预测"] R --> N N --> M["重新生成未知后缀"] M --> I
官方真机服务对这套循环设置了严格截止时间。代码在启动预检中连续推理两次，如果单块超过 180 毫秒就拒绝开始；运行中也为每个 20 帧提交段设置 180 毫秒的新块生成期限。这个数字比论文正文中的架构图更能说明部署难度：实时性不是模型在离线评测中“平均够快”，而是在状态变化、网络接收和控制器确认同时发生时，生成器仍能按时交付下一段。
条件流匹配：学习从噪声到动作的速度场
动作专家不是直接回归动作，而是学习一条从高斯噪声到真实动作块的直线概率路径。令 $\mathbf X$ 为目标动作、$\bm\epsilon$ 为高斯噪声，在流时间 $\sigma\in[0.05,1)$ 上构造带噪样本与目标速度：
$$\mathbf X^{\sigma}=(1-\sigma)\mathbf X+\sigma\bm\epsilon$$ $$\mathbf V^{\star}=\bm\epsilon-\mathbf X$$网络根据带噪动作、流时间、条件 token、当前状态和未来进度预测 $\mathbf V^{\star}$。推理时从噪声出发，用欧拉积分逐步走向动作。带掩码的通道加权损失写成：
$$\mathcal L_{\mathrm{flow}}=\mathbb E\left[\sum_{j,k}M_{j,k}w_k(V_{\theta,j,k}-V^{\star}_{j,k})^2\right]$$不同通道的重要性并不相同。官方代码中的组权重乘在基础 $1/40$ 权重上，论文附录给出的相对权重是：关节角 1、根位移 3、根旋转 10、根高度 15、脚接触 0.1。高度和旋转权重较高，是因为根姿态错误会迅速积累成接触和平衡问题；接触权重较低并不表示接触不重要，而是二值通道的梯度尺度和连续关节不同。
MM-RTC 还要求模型适应任意长度的干净前缀。训练时对每条动作采样前缀长度 $\ell$，前 $\ell$ 帧保持真实动作并令流时间为零，只对未知后缀加噪和计算损失：
$$\widetilde{\mathbf x}^{\sigma}_{j}= \begin{cases} \mathbf{x}_{j}, & j\lt \ell,\\ (1-\sigma)\mathbf{x}_{j}+\sigma\bm\epsilon_{j}, & j\geq \ell. \end{cases}$$官方 training/objective.py 把这一思想实现成帧级前缀掩码：前缀对应的流时间被设为零，损失只落在剩余有效帧上，并且延迟采样上限为 11。若某个样本的有效动作全部被前缀覆盖，代码会显式报错，因为此时没有任何可学习目标。这比在推理端临时补一个“续写模式”更可靠：模型在训练中已经见过从零前缀到长前缀的连续分布。
| 训练任务 | 输入条件 | 共享监督 | 采样原则 |
|---|---|---|---|
| 文本到动作 | 文字与可选指令 | 同一 40 维 G1 动作块 | 按数据量比例混合 |
| 音乐到动作 | 0.6 秒局部音乐窗 | 动作、根运动与接触 | 带/不带文本指令两种模板 |
| 语音到动作 | 完整口述语音 | 动作、根运动与接触 | 带/不带文本指令两种模板 |
| 视频到动作 | 8 FPS RGB 帧 | 动作、根运动与接触 | 带/不带文本指令两种模板 |
七个任务共享一个动作专家，并按训练集规模而不是等权采样。这个决定会影响模型偏置：数据最多的模态获得更多梯度，但所有条件 token 都通过同一套动作监督学习机器人动力学。论文的留一模态消融显示，去掉某一种对齐也会影响其他条件的结果，说明统一动作先验确实在跨模态迁移；但单次留一实验仍不足以把每个跨指标变化归因到某一个独立机制。
主结果：语义更准，执行也更稳，但不同模态强弱不一
在公开 OMG 文本基准上，Movens-Zero 的 FID 为 10.13，R@3 为 85.06%，跌倒率 0.29%，关节限位违规率 10.45%。在源视频不重叠的 Movens-Intent 文本轨道上，FID 为 17.65，R@3 为 62.57%，MPJPE 为 33.40，跌倒率为 0。两个结果说明它不只记住了公开基准分布，但跨源文本检索的优势比同源或公开分布小得多。
视频轨道在 Movens-Intent 上的世界空间 W-MPJPE 为 49.1 毫米，比最强基线低 16.2%；音乐轨道的 BeatAlign 为 0.61、FID-k 为 58.43、跌倒率为 0，但关节限位违规仍有 14.72%。语音轨道 R@3 达到 74.30%，MPJPE 为 32.63，跌倒率为 0，关节限位违规为 4.93%。四类条件都能驱动同一个 G1 动作专家，是论文最强的系统证据，但物理质量并没有在所有模态上同时饱和。
| Movens-Intent 轨道 | 语义/对齐结果 | 动作或执行结果 | 主要剩余问题 |
|---|---|---|---|
| 文本 | FID 17.65，R@3 62.57% | MPJPE 33.40，跌倒 0% | 跨源语义优势较小 |
| 视频 | W-MPJPE100 49.1 mm | 较最强基线降低 16.2% | 强相机运动仍难分离 |
| 音乐 | BeatAlign 0.61，FID-k 58.43 | 跌倒 0%，限位 14.72% | 关节限位合规不足 |
| 语音 | R@3 74.30% | MPJPE 32.63，跌倒 0% | 接触滑移与限位仍有改进空间 |
扩展实验：数据量、模型量和清洗质量必须一起读
论文最重要的实验不是最终榜单，而是固定模型规模后逐步增加 Movens-5M 的比例。XL 模型从 1% 数据扩展到 100% 时，文本 R@3 从 12.72% 升到 62.57%，语音 R@3 从 13.98% 升到 74.30%，视频 MPJPE 从 132.82 毫米降到 40.90 毫米，BeatAlign 从 0.23 升到 0.61，跟踪分数从 0.21 升到 0.72。五个指标单调改善，而且 30% 到 100% 之间仍有明显增益，这比只在 10% 和 100% 两点比较更有说服力。
| 训练数据比例 | 独立小时数 | 文本 R@3 | 视频 MPJPE | BeatAlign | 语音 R@3 | 跟踪分数 |
|---|---|---|---|---|---|---|
| 1% | 122 | 12.72 | 132.82 | 0.23 | 13.98 | 0.21 |
| 10% | 1,223 | 24.92 | 110.55 | 0.38 | 21.76 | 0.36 |
| 30% | 3,669 | 41.80 | 87.90 | 0.45 | 54.34 | 0.50 |
| 100% | 12,231 | 62.57 | 40.90 | 0.61 | 74.30 | 0.72 |
固定完整数据后，动作专家从 64.2M 扩展到 910.5M，验证流损失从 0.487 降到 0.159，文本 R@3 从 10.30% 升到 62.57%，语音 R@3 从 25.37% 升到 74.30%，视频 MPJPE 从 108.50 降到 40.90 毫米，跟踪分数从 0.18 升到 0.72。论文进一步指出，大模型从更多数据中获益更大：从 10% 扩展到 100% 时，XL 的文本相对提升为 151.1%，而 S 只有 62.5%。
| 动作专家 | 参数量 | 验证流损失 | 文本 R@3 | 视频 MPJPE | 语音 R@3 | 跟踪分数 |
|---|---|---|---|---|---|---|
| S | 64.2M | 0.487 | 10.30 | 108.50 | 25.37 | 0.18 |
| M | 187.9M | 0.392 | 22.96 | 92.80 | 41.25 | 0.24 |
| L | 500.1M | 0.186 | 47.80 | 73.84 | 63.98 | 0.40 |
| XL | 910.5M | 0.159 | 62.57 | 40.90 | 74.30 | 0.72 |
这组结果不能简单解释为“参数越多越好”。L 到 XL 的跳跃在视频和跟踪指标上尤其大，但训练预算、优化稳定性和数据配比也可能同时变化。论文用联合缩放图表明大容量动作专家从全量数据中获益更多，并在相同数据比例下保持更好表现，这支持数据与模型互补的结论；它仍不是对训练时长、batch size 和超参数完全不变的无限规模律。
清洗质量实验更直接地回应“是不是只要视频多就行”。在样本数和训练 token 预算相同的条件下，从原始恢复动作逐步加入视觉/人体过滤、物理修复、跟踪验证和分布平衡，文本 R@3 从 48.72% 升到 62.57%，视频 MPJPE 从 126.82 降到 40.90 毫米，跟踪分数从 0.41 升到 0.72。跟踪验证本身把分数从 0.58 提高到 0.67，说明“可执行性筛选”不是数据清洗的装饰步骤，而是模型学习机器人参考动作时的有效监督选择。
不过，这是累积流水线比较，每一行都包含之前的处理，因此不能把每个差值当作某个模块的完全独立因果效应。例如分布平衡同时改变动作和场景覆盖，物理修复也可能改变轨迹平滑度与后续筛选通过率。最稳妥的结论是：完整流水线显著优于原始恢复数据；若要把收益精确分配给单一阶段，还需要随机化模块顺序和组合的因子实验。
代码与论文的对应关系
开源仓库不是只有演示脚本。它把论文中的关键接口落到了可运行代码：movens_zero/root40.py 定义 40 维切片、六维旋转和朝向锚；training/objective.py 实现随机前缀、延迟与流匹配损失；configs/inference_xl.json 固定 30 帧时域、20 帧提交、11 帧最大延迟和 50 Hz；sim2real/server.py 用 180 毫秒块期限把闭环实时性变成启动条件；sim2real/motion_bridge.py 处理 29 关节 G1 限位与真机状态桥接。
| 论文机制 | 代码位置 | 可核对的实现 |
|---|---|---|
| 40 维动作表示 | movens_zero/root40.py:10-45 | 29 关节、2 平面位移、6 旋转、1 高度、2 接触 |
| 朝向锚与状态编码 | movens_zero/root40.py:99-185 | 稳定前向轴、重力对齐锚、帧间位移 |
| 流匹配与随机前缀 | training/objective.py:5-54 | 流时间、延迟、前缀掩码、通道权重 |
| 重叠块配置 | configs/inference_xl.json:8-28 | 30 帧预测、20 帧执行、11 帧最大延迟 |
| 实时部署门槛 | sim2real/server.py:179-207 | 每块 180 毫秒截止时间 |
从复现角度看，最值得先跑的是离线推理和 Movens-Intent 文本轨道，而不是直接上真机。先确认检查点、初始姿态、40 维归一化和动作导出能闭环，再进入 MuJoCo 仿真，最后再接 G1。仓库 README 已经给出四档模型、数据与检查点链接，但许可证未明；即使代码能运行，也不应把“公开可下载”误认为“允许任意商业使用”。
局限：论文证明了能力边界，也留下了部署边界
第一项限制来自数据筛选本身。要求轨迹至少被一个跟踪策略执行成功，会提高可学习性，却可能系统性删除极端、快速或需要道具的接触动作。论文附录的 30 段 G1 真机回放展示了能力，不是统计意义上的硬件成功率实验；仿真中的 100% 关节可行性和 0% 跌倒不能直接外推到不同地面、载荷、硬件批次和人体安全场景。
第二项限制是物体与场景交互。Movens-5M 的标签来自视频，但机器人训练主要在平地参考动作和仿真跟踪中验证。端到端动作基础模型可以学习“看起来像拿杯子”的肢体轨迹，却未必知道杯子形状、抓取力、碰撞和滑移。作者也把更丰富的物体交互、更多机器人形态与系统部署研究列为后续工作。
第三项限制是感知条件中的相机运动。视频恢复管线虽然显式检测背景和人体运动分离，强镜头运动仍可能污染人体轨迹；当人体被遮挡或画面尺度剧烈变化时，SMPL-X 重建误差会进入重定向和后续筛选。论文报告的 EMDB、RICH 与 Movens-Intent 结果证明方法有效，但不能代表任意手持视频都能稳定转换。
第四项限制是音乐动作的关节限位。音乐轨道 BeatAlign 和 FID 很强，跌倒率为零，但 14.72% 的限位违规仍是明显物理缺陷。这个结果提醒读者，节拍对齐并不等于可部署性；如果只奖励节奏和生成分布，模型仍可能生成超出机械范围的动作。相反，语音轨道限位违规 4.93%，说明条件类型会改变物理误差结构。
第五项限制是实时预算。真机服务要求每个 20 帧块在 180 毫秒内生成，意味着生成器、编码器、状态传输和调度必须共享非常窄的时隙。模型可以在离线基准上给出漂亮指标，但实际机器人需要处理网络抖动、GPU 竞争和控制确认。论文的工程代码为此做了预检和期限控制，却没有给出跨硬件、跨负载的完整延迟分布。
最后，当前公开仓库没有明确的项目代码与检查点许可证。Qwen2.5-Omni-3B 还受 Qwen Research License 约束，商业使用需要单独授权。这会直接影响团队能否把 Movens-Zero 当作产品技术栈。对研究复现而言，它是完整的；对商业部署而言，许可、硬件安全、失败恢复和数据合规仍然是论文没有回答的问题。
独立判断：这篇论文最值得带走的不是 500 万
500 万条可执行动作很醒目，但真正可复用的方法是“先把动作变成可验证样本，再让模型学习”。如果只复制规模，却忽略视频来源去重、人物与背景运动分离、物理修复、重定向和跟踪验证，得到的数据集可能仍然很大，却会把视觉上合理、动力学上不可执行的轨迹当作监督。论文的消融实验恰好说明，在固定样本预算下，清洗流水线能把跟踪分数从 0.41 提升到 0.72。
另一个值得重视的设计是把动作表示、生成目标和低层执行放在同一个接口里。40 维表示既服务于训练，也服务于部署和真机桥接；流匹配训练与 MM-RTC 前缀训练共享同一个动作块和掩码；离线推理、仿真和真机只替换控制器，不重新定义动作语义。这种“表示先行”的系统设计，比在论文里增加一个只在离线数据上工作的生成头更有工程价值。
与此同时，读者应保留两个疑问。第一，数据规模的提升是否会被未来更强的动作跟踪器和更大的多模态编码器继续放大？如果低层控制器变强，当前为了可执行性删掉的动作可能重新变得可用。第二，单独训练一个冻结语义编码器加动作专家，是否能扩展到真正的长程任务规划和物体交互？Movens-Intent 证明的是条件到动作映射，不是机器人完成复杂任务的端到端成功率。
这篇工作最适合被看作“可执行动作基础模型的数据与接口论文”，而不是“人形机器人已经具备通用身体智能”的终局证明。它的贡献边界清楚：把互联网行为转换成可执行监督，把多模态条件压缩进同一动作分布，并让实时闭环拥有可测量的工程约束。对于后续研究者，最重要的复现对象应是这套数据验收标准和接口，而不只是模型参数表。
结论
Movens-Zero 用 Movens-5M 把人类视频、物理修复、人形重定向和跟踪验证连成一条可审计流水线，再以 40 维 G1 动作空间为共同接口，训练一个冻结多模态编码器与可扩展流匹配动作专家。Movens-Intent 和跨模态实验表明，文本、视频、音乐和语音可以在同一个目标空间里被统一处理；数据、模型和清洗质量的缩放实验也给出了比较完整的趋势证据。
它的强项不是某一项数字，而是把“语义对齐”和“执行可行性”放在同一张实验桌上。它的弱点是物体交互、硬件成功率、极端动作覆盖、实时负载和许可证边界仍然没有被充分解决。读者若只记住 500 万条或 910.5M 参数，会漏掉论文真正的工程核心。
动作基础模型的规模上限，取决于我们能否把人类视频中的行为转化为机器人真正可执行、可追踪、可复现的经验；数据量只是这条链路的起点。
