面向通用人形移动操作的动作对齐隐空间规划

论文元信息

标题：Action-Aligned Latent Planning for Versatile Humanoid Loco-Manipulation（面向通用人形移动操作的动作对齐隐空间规划，简称 FIBER）

作者：Yutang Lin、Guanya Shi^†、C. Karen Liu^†（^† Amazon FAR 团队联合负责人）；单位：Amazon Frontier AI & Robotics、Carnegie Mellon University、Stanford University

链接：arXiv:2610.24675（v2，2026-10-20，cs.RO，CC BY 4.0）· arXiv HTML 全文 · 项目主页 · 总览视频

代码状态：⏳ 待发布。github.com/Yutang-Lin/FIBER（Apache-2.0，2026-10-20 建仓，约 14 MB）目前只有 teaser 图、pipeline 图、demo GIF、链接与 BibTeX，README 明写 Code coming soon. This repository currently contains the paper's teaser, visual overview, links, and citation.，没有任何训练/推理代码或 checkpoint。项目主页另附一个浏览器内 MuJoCo 交互式 demo，可直接翻看真机 rollout。

研究背景与动机

人形机器人的移动操作（loco-manipulation）要同时解决两件事：做什么——从视觉与语义上下文里判断该发起哪一种交互；怎么做——靠平衡、接触与全身协调把这个交互在物理上实现出来。近年任务专精的交互技能已经做得相当好：物体操作、铰接物体交互、物体搬运都有强策略。但这些成功几乎都建立在任务专属的目标函数、观测空间与训练流程之上，把它们凑成一个通用策略时，难点不在「多训几个头」，而在用什么表示把高层决策与全身控制接起来。

主流做法是分层的：高层策略预测某种结构化目标（身体运动、末端执行器位姿、接触序列），低层控制器负责在真机上实现。作者把这条路的失效机理说得很直白——同一个目标在不同接触、不同物体状态、不同扰动下需要完全不同的动作。运动学或接触目标给了一个紧凑的抽象，却没有把「状态相关的控制响应」编码进去；而交互任务的成败恰恰取决于这一层响应。论文用 FALCON 做了一个很硬的对照：FALCON 专门学过在随机外力下的力自适应末端跟踪，在开门任务上仍然只有 0.4%（含接近）/2.7%（不含接近）。一个「会用力」的跟踪器，也救不回任务专属的控制响应。

另一条极端是直接让规划器预测低层动作。抽象是省掉了，但离线学习就必须覆盖足够宽的闭环纠错响应分布——对接触丰富的交互来说这几乎不可能。论文里的 Action Planner 正是这个设定，结果在三个任务上全线 0.0%。原因不难理解：规划器 5 Hz 更新，两次更新之间机器人已经摔了，而低层动作序列本身不含任何状态反馈。

于是本文把问题精确地表述成一句话：怎样在不把「让交互成功的物理响应」抽象掉的前提下，抽象掉低层控制的复杂度？作者的答案是找一个「天生就可执行、又天生状态相关」的表示——BFM 的行为隐空间。给定当前机器人状态 $s_t$ 与隐指令 $z$，BFM 以 50 Hz 输出低层动作，所以一个 $z$ 索引的不是「一段想要的运动」，而是一个状态相关的控制策略。高层因此可以在紧凑的行为指令上做低频规划，高频闭环物理反馈则原封不动留在冻结的 BFM 里。

有了接口还差能力：规划器要调用的那些交互技能从哪来？两条常规路都不合本文的设定。一是通过统一的数据采集管线收集示范，但接触丰富且含纠错行为的数据覆盖代价极高；二是先训任务专家再蒸馏成通才，其中 on-policy 多专家蒸馏能靠「在通才自己走到的状态上查询专家」来改善闭环覆盖，代价是集成期间所有专家及其仿真环境都必须在线可用。作者刻意选了一个更松的解耦设定：每个交互策略独立获取，之后才被纳入共享行为接口。这个设定更接近真实的工程节奏——搬箱组和开门组可以各自用不同的代码库、不同的观测、不同的奖励，做完之后不需要再互相依赖。

解耦带来一个关键观察：这些互不相同的专家，唯一共享的东西就是施加到机器人上的动作。而冻结 BFM 的隐指令也同样落在动作上（它以当前状态为条件产出动作）。这个共同的动作空间，就是把一个独立获取的交互策略与 BFM 隐表示挂钩的直接桥梁——这也正是标题里 action-aligned 的由来。

预备知识：可执行隐空间与前后向表示

BFM-Zero 一系工作用前后向（Forward-Backward, FB）表示学出一个可提示的人形行为空间。对隐条件策略，前向表示有后继特征（successor feature）解释：

$$F_{\gamma}(s_{t},a_{t},z)\approx\mathbb{E}\left[\sum_{h=0}^{\infty}\gamma^{h}B(s_{t+h+1})\;\middle|\;s_{t},a_{t},\pi_{\mathrm{BFM}}(\cdot,z)\right]$$

对应的 FB 值是 $Q_{\gamma}^{\mathrm{FB}}(s,a,z)=F_{\gamma}(s,a,z)^{\top}z$。直觉上，$z$ 是「行为方向」，$B(s)$ 是状态在这一组行为基上的坐标，两者内积就是这条策略在该状态上的长期价值。本文用到的一个实用推论是：$B(s)$ 既是价值计算的组件，也可以反过来当作「当前状态的原生语义标签」——这正是后面语义正则项的来源。

可执行的身体隐指令被约束在半径固定的球面上，投影算子为

$$\mathcal{Z}=\left\{z\in\mathbb{R}^{d_{z}}:\|z\|_{2}=\sqrt{d_{z}}\right\},\qquad \Pi_{\mathcal{Z}}(v)=\sqrt{d_{z}}\,\frac{v}{\|v\|_{2}}$$

论文取 $d_{z}=256$，并说明固定半径参数化的好处是让坐标平方的均值与隐空间维度无关（零范数退化情形另用一个固定非零参考向量兜底）。这个约束贯穿全文：投影器输出、BFM 的 $B$ 输出、规划器采样结果，全部要过 $\Pi_{\mathcal{Z}}$；因此隐空间里的「插值」不是线性插值而是球面插值，「距离」也等价于余弦间隙，后文会给出精确恒等式。

控制接口方面，BFM 身体动作是 29 维（Unitree G1 的 29 个驱动关节，50 Hz，控制周期 $\Delta t=0.02$ s）。装 Dex3 手的任务额外预测 14 个手关节目标（每手 7 个），由独立分支产出，不属于 BFM 身体动作。演员把隐指令拼在本体感受之后，其当前本体状态为

$$s_{t}^{\mathrm{prop}}=\left[q_{t}-q^{\mathrm{default}};\ \dot{q}_{t};\ g_{t}^{\mathrm{body}};\ 0.25\,\omega_{t}^{\mathrm{body}}\right]\in\mathbb{R}^{64}$$

再加上上一步缩放后的身体动作与 9 帧因果历史（每帧 93 项：29 动作 + 3 角速度 + 29 关节位置 + 29 关节速度 + 3 重力），所以演员在拼接隐指令之前吃进 $64+29+9\times 93=930$ 维本体/动作坐标。向后表示 $B$ 在训练与仿真投影时另外接收 463 维航向坐标系下的全身运动学特权量，但部署时的 BFM 演员不消费这些特权量——这条边界很重要，它保证了真机上跑的确实是纯本体感受控制器。

方法详解

FIBER 分三段：先各自获取交互技能，再把它们投影进冻结 BFM 的隐空间，最后用投影后的闭环隐轨迹离线训一个统一的视觉规划器。投影完成、数据收集完成之后，原始专家就不再需要了——这句话在论文里出现了两次，是整个解耦设定能成立的支点。下图按论文 Fig. 1 的真实三段结构画出数据流，注意最后那条从 BFM 回到规划器的高频反馈边：它是 FIBER 与「直接规划动作」的本质区别。

flowchart TB
    subgraph SG1["Stage 1 异构技能获取 各自独立"]
        M1["动作模仿专家
搬箱 与 抓取
HDMI 风格 特权编码器 256 维"]
        M2["分阶段奖励整形专家
开门 接近 接触 转把手 推开"]
        M3["SF 引导行为复用
搬箱 组合 蹲走 跪行 行走 跑步"]
    end
    subgraph SG2["Stage 2 动作对齐隐策略投影 LPP"]
        P1["投影器 P psi i
预归一化残差 MLP 宽 1024
运动 4 块 开门 2 块"]
        P2["球面 SLERP 插值
10 Hz 更新 HP=5 步"]
        P3["L act 物理关节目标匹配
加 0.1 倍 L sem 锚定 B s"]
        P4["单技能 on-policy 数据聚合
DAgger 式 执行隐噪声 0.1"]
    end
    subgraph SG3["Stage 3 统一离线隐空间流规划"]
        D1["每技能 20K 闭环 episode
depth 144x256 加 proprio 58
加高层条件 加真实执行的 z"]
        D2["条件 DiT 流匹配规划器
宽 1024 共 16 块 8 头
预测 H=10 个隐指令 覆盖 1 s"]
        D3["转向 token 编码器 2 块
冻结 T5-base 768 维语言
航点 10 维 输出 8 个 token"]
    end
    BFM["冻结 AH-BFM
dz=256 球面 多 gamma FB
50 Hz 输出 29 关节目标"]
    M1 --> P1
    M2 --> P1
    M3 --> P1
    P1 --> P2 --> P3 --> P4
    BFM --> P3
    P4 --> D1 --> D2
    D3 --> D2
    D2 -->|未来 1 s 隐指令 5 Hz 重规划| BFM
    BFM -->|高频状态相关反馈 不被规划器建模| ROBOT["Unitree G1 真机
RTX PRO 5000 笔记本 单卡"]

图 1：FIBER 的三段数据流（依据论文 Fig. 1 与附录 A–D 的真实结构绘制）。关键在于「投影完成后专家即被丢弃」，以及部署时规划器 5 Hz、BFM 50 Hz 的双频率耦合。

1. 自适应时域 BFM：一个隐空间要同时服务两种时间尺度

投影与规划对隐表示提出的要求是矛盾的。LPP 要在 0.1 s 的窗口里精确复现专家的局部控制响应，偏好短折扣；而 5 Hz 的低频规划希望一条隐指令在更长时间里保持同一行为语义，偏好长折扣。常规 FB 学习只能二选一，这正是论文指出的 trade-off。AH-BFM 的做法是把折扣当成条件变量：

$$\Gamma=\{\gamma_{s},\gamma_{l}\},\qquad \gamma_{s}<\gamma_{l}$$

前向表示 $F$ 以 $\gamma$ 为条件（$\gamma$ 先经一个小 MLP 嵌入再进前向网络，不作为演员输入），向后表示 $B$ 与可执行演员则在所有时域间共享。不同折扣的价值天然量纲不同，因此先做归一化：

$$\widetilde{Q}_{\gamma}^{\mathrm{FB}}=(1-\gamma)\,Q_{\gamma}^{\mathrm{FB}},\qquad V_{\gamma}(s,z)=(1-\gamma)\,Q_{\gamma}^{\mathrm{FB}}\bigl(s,\pi_{\mathrm{BFM}}(s,z),z\bigr)$$

因子 $(1-\gamma)$ 剥掉折扣求和的前置尺度，使短、长时域两项可以直接比较。共享演员最大化的不是加权和，而是一个 softmax 型（对数求和指数）聚合：

$$J_{\mathrm{FB}}(s,z)=\tau\log\sum_{\gamma\in\Gamma}p(\gamma)\exp\!\left(\frac{V_{\gamma}(s,z)}{\tau}\right)$$

其梯度自然分解为各时域策略梯度的凸组合，但权重是状态与隐指令的函数而非全局常数：

$$w_{\gamma}(s,z)=\frac{p(\gamma)\exp\!\bigl(V_{\gamma}(s,z)/\tau\bigr)}{\sum_{\gamma^{\prime}\in\Gamma}p(\gamma^{\prime})\exp\!\bigl(V_{\gamma^{\prime}}(s,z)/\tau\bigr)}$$

实现上取 $\Gamma=\{0.8,\,0.98\}$，先验 $p(0.8)/p(0.98)=0.625/0.375$，聚合温度 $\tau=1$。论文在附录 A-C 里专门论证了这个聚合算子的稳定性：它关于 $\|\cdot\|_{\Gamma,\infty}$ 是非扩张的，并且不会放大 FB 回代引入的扰动（复合算子以 $\gamma_{\max}=\max\Gamma<1$ 收缩），还专门用一节把它与固定加权和目标 $J_{\mathrm{WS}}(s,z)=\sum_{\gamma}p(\gamma)V_{\gamma}(s,z)$ 对比——后者无法按状态切换主导时域。

2. 三条技能获取路线：只要最后能吐出动作就行

解耦设定的直接红利是：专家想怎么训就怎么训。论文用了三条互补路线。动作模仿用于有合适人形—物体运动参考的交互（抓取、拾取）：HDMI 风格，特权观测编码器 256 维嵌入 + 参考动作残差演员，演员隐层 [512, 256, 256]、评论家 [512, 256, 128]、Mish 激活，PPO 学习率 $3\times10^{-4}$、3 epochs、8 minibatch、clip 0.2、折扣 0.99、GAE 0.95、熵系数 0.001。跟踪量同时包含身体运动与被操作物体位姿，接触奖励负责把示范「物理化」。分阶段奖励整形用于天然可分解的交互：开门按接近、建立接触、操作把手、推开门四段渐进给奖，不需要任何运动参考，每段可以用各自合适的观测与奖励。

第三条最有意思——SF 引导的行为复用。它解决的是「组合爆炸」：搬箱 × 蹲走、搬箱 × 跪行、搬箱 × 跑步，若每种组合都要一条新的运动参考或一个新专家，代价不可接受。做法是冻住 BFM，只学一个隐适配器：

$$\hat{z}_{t}=\Pi_{\mathcal{Z}}\!\left(z^{N}+A_{\psi_{I}}^{\mathrm{res}}(o_{t},z^{N})\right),\qquad a_{t}=\pi_{\mathrm{BFM}}(s_{t},\hat{z}_{t})$$

残差参数化让适配器只在交互需要时才修改原生指令 $z^{N}$。奖励由交互项与后继特征保持项组成：

$$r_{t}=r_{t}^{I}+\lambda_{\mathrm{SF}}\,B(s_{t})^{\top}z^{N}$$

由于 $z^{N}$ 固定，$\mathbb{E}\bigl[\sum_{t}\gamma^{t}B(s_{t})^{\top}z^{N}\bigr]=\mathbb{E}\bigl[\sum_{t}\gamma^{t}B(s_{t})\bigr]^{\top}z^{N}$，所以这一项就是在评估「沿 $z^{N}$ 选定的行为方向上的折扣状态占用」。又因为 $B(s_t)$ 与 $z^{N}$ 都在半径 $\sqrt{d_z}$ 的球面上，$B(s_{t})^{\top}z^{N}/d_{z}=\cos\angle\bigl(B(s_{t}),z^{N}\bigr)$，归一化与否只差一个被 $\lambda_{\mathrm{SF}}$ 吸收的常数。论文特意强调：保持目标是请求的原生行为 $z^{N}$，不是适配后的 $\hat{z}_t$——搞反了适配器就会自我循环。搬箱实例里 $r^I$ 含上身姿态、物体位置、物体朝向、接触四项，权重分别 1、2、1、1，跟踪核为 $r_{\mathrm{pose}}=\exp(-e_q/0.25^2)$、$r_{\mathrm{pos}}=\exp(-\|e_p\|_2^2/0.10^2)$、$r_{\mathrm{ori}}=\exp(-\theta_{\mathrm{obj}}^2/0.35^2)$；SF 项权重 0.1，隐平滑惩罚 $c_{\mathrm{smooth},t}=\|\hat{z}_{t}-\hat{z}_{t-1}\|_{2}^{2}/(2d_{z})$（在球面上恰等于 1 减余弦相似度）权重 $-0.5$，物体掉落终止 $-100$。适配器演员/评论家为 2 个宽 512、前馈 2048 的 GELU 残差块，SF 适配器学习率 $10^{-5}$、5 epochs。

3. 动作对齐隐策略投影（LPP）：本文的技术核心

专家训完之后，必须转换成能供离线规划器训练的表示。运动学轨迹紧凑，但不唯一决定实现交互所需的控制响应；专家动作含这份物理信息，但直接建模高频动作又要求覆盖极宽的状态相关分布。LPP 的折中是：用冻结 BFM 把专家行为压进一个低频隐表示，同时保留其可执行响应与原生行为语义。

对齐必须在同一个物理空间里做。不同专家的归一化动作约定不同，所以先把 BFM 与专家输出都换算到物理关节目标空间。BFM 控制剖面为

$$q_{t}^{\mathrm{des}}=q^{\mathrm{default}}+0.25\,r_{q}\odot\operatorname{clip}\!\left(6a_{t},-6,6\right)$$

其中 $r_q$ 是逐关节动作尺度；关节顺序、默认姿态、尺度向量在专家换算、投影、投影 rollout 收集与执行四处保持一致，最终由机器人 PD 控制器按选定剖面的增益与执行器限位实现。

对专家 $\pi_i^{E}$，学一个局部投影器 $P_{\psi_i}$，在更新时刻 $t_k$ 把专家观测映射到隐指令 $z_{k}=P_{\psi_{i}}(o_{t_{k}}^{E_{i}})\in\mathcal{Z}$。投影器每 5 个身体控制步更新一次（0.1 s 间隔，即 10 Hz），两次更新之间在球面上插值：

$$z_{t_{k}+h}=\operatorname{SLERP}\!\left(z_{k-1},z_{k},\alpha_{h}\right),\quad h=0,\ldots,H_{P}-1,\qquad H_{P}=5$$

$$\operatorname{SLERP}(a,b,\alpha)=\frac{\sin\!\bigl((1-\alpha)\vartheta\bigr)}{\sin\vartheta}\,a+\frac{\sin\!\bigl(\alpha\vartheta\bigr)}{\sin\vartheta}\,b$$

其中 $\vartheta$ 是两端点在球面上的角距，其余弦做了数值稳定钳位。投影器本体是预归一化残差 MLP（输入 LayerNorm + 线性投影、若干残差前馈块、输出 LayerNorm、隐头后接 $\Pi_{\mathcal{Z}}$），残差块形如 $\tilde{h}^{\ell}=\operatorname{GELU}(W_{1}^{\ell}\operatorname{LN}(h^{\ell})+b_{1}^{\ell})$、$h^{\ell+1}=h^{\ell}+W_{2}^{\ell}\tilde{h}^{\ell}+b_{2}^{\ell}$；隐宽 1024、前馈扩张比 4，运动专家投影器 4 块、开门投影器 2 块。带灵巧手的技能另有一个头回归专家的物理手关节目标，球面约束只作用于身体隐指令。

核心目标是短程动作对齐。记 $T_B$、$T_i$ 为把 BFM 与专家输出换算到同一物理关节目标空间的映射，$m_h$ 为跨越 episode 边界的掩码：

$$e_{h}^{a}=T_{B}\!\left(\pi_{\mathrm{BFM}}(s_{t_{k}+h},z_{t_{k}+h})\right)-T_{i}\!\left(\pi_{i}^{E}(o_{t_{k}+h}^{E_{i}})\right)$$

$$\mathcal{L}_{\mathrm{act}}=\mathbb{E}_{P_{\psi_{i}}}\!\left[\frac{\sum_{h=0}^{H_{P}-1}m_{h}\,\|e_{h}^{a}\|_{2}^{2}}{29\sum_{h=0}^{H_{P}-1}m_{h}}\right]$$

期望下标 $P_{\psi_i}$ 表示状态分布来自当前投影器经冻结 BFM 执行所诱导的 on-policy 轨迹，而不是专家的名义轨迹。这一点是 LPP 与「拿专家轨迹做离线回归」的根本差别。

只做动作对齐会留下欠定性：不同隐指令可能在局部诱导出几乎相同的动作，却对应 BFM 空间里完全不同的行为方向。于是把每个投影指令锚到当前局部状态的原生语义表示上：

$$\mathcal{L}_{\mathrm{sem}}=\mathbb{E}\left[\left\|z_{k}-B(s_{t_{k}})\right\|_{2}^{2}\right],\qquad \left\|z-B(s)\right\|_{2}^{2}=2d_{z}\left(1-\frac{z^{\top}B(s)}{d_{z}}\right)$$

球面上的平方距离与余弦间隙只差一个常数因子，所以这一项等价于「让隐指令尽量贴近当前状态的原生行为语义」。完整目标为

$$\mathcal{L}_{\mathrm{proj}}=\mathcal{L}_{\mathrm{act}}+\lambda_{\mathrm{sem}}\,\mathcal{L}_{\mathrm{sem}},\qquad \lambda_{\mathrm{sem}}=0.1$$

动作项按专家需要的控制响应确定隐指令，语义项在动作等价的解集里挑出与 BFM 原生几何一致的那一个，从而降低「动作等价但语义漂移」的歧义，给下游规划更连贯的隐轨迹。

训练用单技能 on-policy 数据聚合（DAgger 式）：当前投影器在随机化任务初始化下经冻结 BFM 执行，在它走到的状态上查询对应专家的身体动作，记录 BFM 输入、专家观测与重置掩码；随后把短执行窗口重新过一遍冻结 BFM 演员以计算上式两项损失。梯度穿过冻结的 BFM 演员回传到预测的隐指令，但不改动任何 BFM 参数、也不需要仿真器梯度。优化配置：AdamW，学习率 $3\times10^{-4}$、权重衰减 $10^{-4}$、梯度范数上限 1、每 rollout 4 个 minibatch × 5 遍；执行隐指令前加标准差 0.1 的探索噪声（加噪后重新投影回 $\mathcal{Z}$，且噪声绝不加到专家动作标签上）。这样投影器能见到名义专家轨迹里根本不存在的纠错状态。

论文对投影结果的解读很克制，值得原文引一句：投影隐指令应当被局部地理解——它是由冻结 BFM 在投影期间访问到的状态上诱导出的控制响应所确定的，而不是假设专家策略与 BFM 策略全局等价。正因为如此，喂给统一规划器的监督才是投影后的闭环 rollout，而不是专家的名义轨迹。投影完成后在随机初始状态与环境配置下收集

$$\mathcal{D}_{i}^{Z}=\left\{(d_{t},\,p_{t},\,u_{t},\,z_{t})\right\}$$

$d_t$、$p_t$ 是下游规划器可用的感知与本体观测，$u_t$ 是对应的高层任务条件。每个技能收集 20K 条闭环 episode，跨任务合并后用于规划器训练。

4. 统一隐空间流规划：一个离线 DiT 学完所有技能

因为所有技能的隐轨迹现在共享同一个可执行表示，它们可以直接混在一起训练。规划器每步以板载深度 $d_t$、本体感受 $p_t$ 与紧凑转向 token $c_t=E_{\mathrm{steer}}(u_t)$ 为条件，预测未来一段 BFM 指令

$$Z_{t}=\left[z_{t},z_{t+1},\ldots,z_{t+H-1}\right]\in\mathbb{R}^{H\times d_{z}},\qquad H=10$$

即每 0.1 s 一个隐目标（对应 5 个 50 Hz 控制步），一次预测覆盖 1 秒。每个未来隐指令在 transformer 里占一个时间 token；带手的数据另有目标 $Y_{t}\in\mathbb{R}^{H\times14}$，用自身统计量归一化，不投影到 $\mathcal{Z}$。本体输入是 $p_{t}=[q_{t};\dot{q}_{t}]\in\mathbb{R}^{58}$，按坐标用固定训练集统计量标准化。

感知条件是一张 144×256 的度量自我中心深度图，裁剪到 0.12–3.0 m 有效范围；12×16 的跨步卷积核产生 12×16=192 个空间 token，加上可学习空间嵌入后过 2 个自注意力块，8 个可学习 register token 参与编码后丢弃。语言条件由冻结的 T5-base 编码，掩码池化得 768 维句向量，经 LayerNorm 与两层 SiLU MLP 映到模型宽度，规划器目标不更新文本编码器。航点条件取自未来根位姿，在 $\delta\in\{0.5,1.0\}$ s 两个时域上构造

$$u_{t}^{\delta}=\left[\Delta x_{t}^{\delta},\ \Delta y_{t}^{\delta},\ \sin\Delta\psi_{t}^{\delta},\ \cos\Delta\psi_{t}^{\delta},\ h_{t+\delta}\right]$$

位移在当前航向坐标系下表达，$\Delta\psi$ 是相对偏航，$h$ 是未来骨盆高度；两个时域拼成 10 维。缺失的航点条件用掩码处理，而不是塞一个零值物理指令——这个细节避免了「原地不动」被当成一个真实目标。语言与航点嵌入再由一个 2 块自注意力编码器压成 8 个转向 token，主干对其做交叉注意力，同时交叉注意 192 个深度 token、1 个本体状态 token 与 8 个条件 register；不可用的模态显式掩码。

主干是宽 1024、16 块的 transformer，8 头 × 每头 128，前馈扩张 4、GELU，注意力 dropout 0 / 前馈 dropout 0.2。每块含时间自注意力、对观测/转向记忆的交叉注意力、前馈 MLP，并用自适应 LayerNorm 从流时间条件提供 shift、scale 与残差门控：$h^{\prime}=h+g_{\tau}\odot\operatorname{Attn}\bigl((1+s_{\tau})\odot\operatorname{LN}(h)+b_{\tau}\bigr)$。流时间做正弦嵌入（尺度 1000）后过 MLP。

训练目标是标准的条件流匹配，但预测的是干净端点而非速度场。取 $x_{0}\sim\mathcal{N}(0,I)$、$\tau\sim\mathcal{U}(0,1)$，$x_{1}=\operatorname{vec}(Z_t)$，线性插值

$$x_{\tau}=(1-\tau)\,x_{0}+\tau\,x_{1}$$

网络 $f_{\eta}(x_{\tau},\tau,\xi_{t})$ 直接回归端点：

$$\mathcal{L}_{\mathrm{body}}=\mathbb{E}\left[\frac{1}{H\,d_{z}}\left\|f_{\eta}(x_{\tau},\tau,\xi_{t})-x_{1}\right\|_{2}^{2}\right],\qquad \mathcal{L}_{\mathrm{planner}}=\mathcal{L}_{\mathrm{body}}+\lambda_{\mathrm{hand}}\mathcal{L}_{\mathrm{hand}}$$

有一个容易被忽略的实现选择：干净隐目标位于球面 $\mathcal{Z}$ 上，但高斯插值与端点预测都在欧氏坐标里做，只有在把采样输出转成可执行 BFM 指令时才逐个施加 $\Pi_{\mathcal{Z}}$。论文还明确说明不使用解码身体动作的辅助损失（权重 0），理由是动作对齐已经在构造投影隐监督时完成了一次——避免同一个约束在两个地方以不同尺度重复施加。端点预测器诱导出速度场

$$v_{\eta}(x_{\tau},\tau,\xi_{t})=\frac{f_{\eta}(x_{\tau},\tau,\xi_{t})-x_{\tau}}{1-\tau},\qquad \tau<1$$

在网格 $0=\tau_{0}<\cdots<\tau_{N}=1$ 上用 $x_{j+1}=x_{j}+(\tau_{j+1}-\tau_{j})\,v_{\eta}(x_{j},\tau_{j},\xi_{t})$ 积分，部署时取 Heun 预测—校正格式、10 步。优化配置：AdamW，学习率 $2\times10^{-4}$、权重衰减 $10^{-2}$、warm-up 100 步后恒定、batch 256、500 epochs、梯度范数上限 1；训练窗口在 episode 边界内采样，训练/验证按 episode 级划分（验证占比 0.2），导出配置里状态条件 dropout 0.2、航点条件 dropout 0.1。

5. 部署：5 Hz 规划 + 50 Hz 反馈 + 实时分块

部署时规划器只执行采样序列的前导段，然后从新的板载观测重规划；相邻隐指令之间用 SLERP 连接，保证 BFM 在每个 50 Hz 控制步都有指令可用。真机系统用板载 RealSense 深度与本体感受，规划器与冻结 BFM 都跑在同一台 NVIDIA RTX PRO 5000 Blackwell 笔记本上：TensorRT 规划器 5 Hz、10 步 Heun、单次推理约 20 ms；BFM 50 Hz、单次前向约 1 ms。为避免相邻两次采样之间隐轨迹跳变，部署使用实时分块（real-time chunking, RTC）：新块在时间上与旧块剩余部分重叠，RTC 在流积分过程中把新样本的重叠前缀条件化到已承诺的旧轨迹上，从而在重规划边界保持连续，同时允许块内靠后的隐指令继续响应最新观测。这把规划器推理延迟与机器人连续执行解耦了。

图 2：论文 Fig. 1 总览。(a) 异构交互专家分别经动作模仿、奖励整形或 SF 引导行为复用获取；(b) LPP 把它们的短程控制响应映射进冻结 AH-BFM，闭环 rollout 产出可执行隐轨迹；(c) 这些轨迹完全离线地训练统一视觉规划器，语言或航点条件编码为转向 token，DiT 预测未来隐轨迹，部署时规划器基于板载观测重规划、冻结 BFM 提供高频反馈。

实验结果

仿真在 IsaacSim 里做，每任务 128 个变体：搬箱变箱子尺寸与初始摆放，开门变门几何，抓取变物体身份。变体范围（附录 Tab. X）相当宽——箱体基准 20×30×40 cm，$s_x,s_y\in[0.5,1.5]$、$s_z\in[0.5,1.0]$ 独立缩放，得到 10×15×20 cm 到 30×45×40 cm 的尺寸跨度，可放在地面或 0.25–0.50 m 高的支撑台上，质量 0.5–1.5 kg；门宽 0.8–1.1 m、高 1.9–2.2 m，把手离地 0.85–0.95 m、横向内缩 0.08–0.15 m；抓取评测 128 个不同物体实例、每个 4 次抓取共 512 个 episode，这些实例是从 685 个物体、2,991 条可用示范中经教师可行性筛选出来的。「含接近」设定把人形初始化在距目标 0.5–1.5 m 处要求先走过去，「不含接近」直接初始化在目标正前方。成功判据：搬箱抬升 ≥0.3 m 并保持 ≥1 s，抓取抬升 ≥0.1 m 并保持 ≥1 s，开门要把门打开并且人形穿过门洞。

主表（Tab. I）的读法要先看清三条分组线。第一组是任务专属策略与它们的投影版本，衡量 Q1「投影有多保真」；第二组是参考提示执行，衡量「换一种表示行不行」；第三组才是感知规划，衡量 Q2。全部数字如下（% ，Mean 用「含接近」列计算）：

方法	搬箱 含接近	搬箱 不含接近	开门 含接近	开门 不含接近	抓取物体	Mean
任务专属策略
专家策略†	100.0 ± 0.0	90.8 ± 0.5	89.3 ± 0.2	97.9 ± 0.8	97.0 ± 0.8	95.4
LPP w/ SONIC†	0.0 ± 0.0	0.0 ± 0.0	83.1 ± 0.7	88.1 ± 0.6	5.1 ± 0.7	29.4
LPP w/ Fixed-$\gamma$ BFM†	75.4 ± 0.2	80.2 ± 1.3	61.8 ± 1.9	72.4 ± 0.7	69.3 ± 1.2	68.8
LPP w/ AH-BFM†	81.9 ± 0.9	87.4 ± 2.4	83.5 ± 1.8	97.3 ± 0.4	52.9 ± 2.1	72.8
参考提示执行
SONIC	0.0 ± 0.0	0.0 ± 0.0	0.4 ± 0.0	3.1 ± 0.0	12.1 ± 0.0	4.2
FALCON	0.0 ± 0.0	0.0 ± 0.0	0.4 ± 0.0	2.7 ± 0.0	11.9 ± 0.3	4.1
$B(s)$ Tracking	0.0 ± 0.0	0.0 ± 0.0	0.4 ± 0.0	5.6 ± 0.5	13.9 ± 0.5	4.8
LPP Replay	11.2 ± 0.8	17.7 ± 1.2	12.2 ± 0.9	49.5 ± 0.6	11.3 ± 1.1	11.6
感知规划
OmniContact∗	29.9 ± 0.2	49.6 ± 0.0	–	–	–	–
LessMimic	38.3 ± 0.0	28.5 ± 0.0	–	–	–	–
Action Planner	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0	0.0
Kinematic Planner	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0	0.0 ± 0.0	10.6 ± 0.5	3.5
FIBER（本文）	42.1 ± 0.6	44.1 ± 1.0	53.5 ± 4.8	51.2 ± 1.0	30.3 ± 2.3	42.0

表 1：论文 Tab. I 仿真成功率（%）。^† 任务专属策略，^∗ 使用特权物体状态而非自我中心观测。Mean 按「含接近」列计算。

Q1 的答案是分任务的。LPP 配 AH-BFM 在搬箱上把 100.0% 的专家保到 81.9%（不含接近 90.8%→87.4%，几乎无损），开门 89.3%→83.5%（不含接近 97.9%→97.3%，基本无损），但精细抓取从 97.0% 掉到 52.9%。这个落差有物理解释：抓取依赖灵巧手上的高精度指部协调，而手关节目标走的是独立回归分支、不受球面隐指令与动作对齐损失的直接约束，投影保真度自然低于 29 维身体动作。同时注意 LPP w/ SONIC 这一行：把 BFM 换成 SONIC 之后搬箱直接归零、抓取只剩 5.1%，说明「可执行隐空间」这个接口本身的质量决定了投影的上限，不是随便一个统一控制器都能当基座。

表示选择的对照极其干净。$B(s)$ Tracking 与 LPP Replay 用的是同一批成功的专家轨迹，前者从专家状态轨迹反推行为、后者从专家动作响应反解隐指令，结果在搬箱与开门上是 0.0%/11.2% 与 0.4%/12.2% 对 81.9%/83.5% 的量级差。论文的结论因此不是「我们的表示更好一点」，而是「行为状态匹配根本不保留交互关键的反馈」。另一端的 Action Planner 全任务 0.0%，说明低频动作规划无法替代冻结 BFM 提供的高频状态反馈。两个极端一起被排除，中间那条「动作对齐 + 高频反馈」的路才是唯一活的。

Q2 的答案藏在 11.6% → 42.0% 这一跳里。LPP Replay 是开环重放投影隐轨迹，FIBER 是带视觉的闭环重规划；同样的表示、同样的 BFM，加上感知重规划就把平均成功率抬了 3.6 倍。作者由此得出一个值得记住的判断：光有 BFM 的高频反馈是不够的，任务级的隐空间重规划同样不可省。同设定下 Kinematic Planner 只有 3.5%（唯一非零的抓取 10.6%），Action Planner 全零，而带特权物体状态的 OmniContact 在搬箱上 29.9%、LessMimic 38.3%——FIBER 的 42.1% 是在只用板载自我中心深度的前提下拿到的，这一点比数字本身更有分量。论文也坦承没有报告 on-policy 多专家蒸馏基线，理由是各专家环境、观测空间与代码库都不同，不共享联合蒸馏所需的在线 rollout 接口。

图 3：论文 Fig. 2，仿真中的技能串联。单次 rollout 内同一策略依次完成 (i) 开门、(ii) 拾取箱子、(iii) 抱着箱子穿过门洞返回，展示在高层指令变化下对多个交互技能的闭环串联。

真机（Q2/Q3）：Unitree G1 配板载 RealSense 深度相机，专家、投影器与统一规划器全部只在仿真里训练，直接零样本上真机。

方法	搬箱	开门	抓取物体	Mean
FIBER（统一规划器，Unitree G1 真机）	6/10	4/10	2/10	40%

表 2：论文 Tab. II，统一 FIBER 规划器在 Unitree G1 上的真机成功率。仿真的 42.0% 与真机的 40% 几乎重合，是这条链路里最直接的 sim-to-real 证据。

抓取在真机上更难（2/10），论文归因于小物体的深度估计不准与精细控制难度叠加——这与仿真里 30.3% 的短板是同一件事的两种表现。作者强调真机结果里最有价值的其实不是成功率，而是 Fig. 3 展示的那类行为：箱子抓不稳时机器人会短暂抬起箱子、把手挪到下方重新支撑；抱箱跟随航点时被绊倒，能跪稳、起身、继续执行；面对一扇重门，会把整个身体压进交互里去产生足够推力。这些都不是规划器显式建模出来的，而是「规划的隐指令始终落在闭环物理响应上」这一表示选择的副产品。

图 4：论文 Fig. 3，真机定性行为。(a) 搬箱中对不稳定抓握的高频闭环调整；(b) 拾取后跟随航点、被绊倒后跪稳恢复再继续，体现交互保持的技能串联与转向；(c) 开重门时全身压入以产生推力，展示接触丰富任务的自适应全身实现。

Q4 的消融分两块。时域方面在 100STYLE 上用两个互补指标：Joint-MAE 测瞬时动作跟踪精度，BE-EMD 测一条固定隐指令在越来越长的嵌入时域上保持参考行为的能力（对每段参考片段用 LPP 推出单个隐指令，在该固定指令下 rollout BFM，度量与参考的差异）。

方法	Joint-MAE ↓	BE-EMD 0.2 s ↓	BE-EMD 0.5 s ↓	BE-EMD 1 s ↓	BE-EMD 2 s ↓
SONIC	0.1315	–	–	–	–
BFM $\gamma_{0.8}$	0.1107	0.038	0.200	0.495	0.792
BFM $\gamma_{0.98}$	0.1327	0.048	0.213	0.451	0.601
AH-BFM	0.1020	0.049	0.195	0.422	0.590

表 3：论文 Tab. III，100STYLE 上多时域 BFM 的跟踪与行为嵌入性能消融。加粗为该行最优。

这张表把 trade-off 摊开得很清楚：短折扣 $\gamma=0.8$ 在 0.2 s 上 BE-EMD 最低（0.038），长折扣 $\gamma=0.98$ 在长时域上更好（2 s：0.601 对 0.792）但 Joint-MAE 反而最差（0.1327，甚至不如 SONIC 的 0.1315）。AH-BFM 拿到最低 Joint-MAE（0.1020，比两个固定折扣分别好 8% 与 23%），并在 0.5 / 1 / 2 s 三个时域上 BE-EMD 全部最优，只在 0.2 s 上以 0.049 对 0.038 略逊——也就是说自适应聚合几乎白拿了两个极端各自的长处，代价只落在最短的那个时域上。这个优势会传导到交互投影：把 Tab. I 里的 Fixed-$\gamma$ BFM（$\gamma=0.98$）换成 AH-BFM，LPP 平均成功率从 68.8% 升到 72.8%，搬箱 75.4→81.9、开门 61.8→83.5 都有明显增益。

图 5：项目主页素材——SF 引导行为复用的产物之一：同一个搬箱交互与「蹲走」这一原生 BFM 行为组合，控制器必须在维持箱体支撑的同时实现一套完全不同的全身构型。这类组合不需要新的运动参考或新专家，只换请求的原生隐指令 $z^{N}$。

图 6：项目主页的能力矩阵——同一个统一规划器覆盖搬箱、开门、抓取三类异构交互，并与行走、蹲走、跪行等原生全身行为组合，且可通过语言或航点条件转向。

局限性

一、作者自述：底层 BFM 的动态能力封顶了整个系统。论文在结论里明确写了两条：其一，把底层 BFM 扩展到更动态的全身行为（例如楼梯穿越）仍待探索；其二，需要引入更丰富的视觉与触觉反馈、并配合在线隐空间自适应，才能支持更多样的接触条件与新技能的持续集成。这两条都不是修辞——AH-BFM 的隐空间是离线训好并全程冻结的，规划器再强也只能在这个空间张成的行为集合里做组合；空间里没有的动态，FIBER 就调不出来。

二、精细操作是明确短板，且投影与感知两处同时掉分。抓取任务上，专家 97.0% → LPP 52.9% → 统一规划器 30.3%，真机只有 2/10。三级衰减说明问题不只在规划器：手关节目标走独立回归分支、不进 $\mathcal{Z}$ 球面也不受 $\mathcal{L}_{\mathrm{act}}$ 的 29 维归一化约束，投影保真度先天低于身体动作；再叠加 144×256、有效范围 0.12–3.0 m 的单目度量深度对小物体的估计误差，精细抓取成为整条链路里最脆弱的一环。

三、绝对性能与专家仍有 53 个百分点差距，且缺少最强的对照基线。42.0% 相对 11.6% 与 3.5% 是压倒性的，但相对任务专家（95.4%）仍差 53.4 个百分点；搬箱 100.0→42.1、抓取 97.0→30.3 的落差意味着当前形态更接近「一个能用的通用接口」而非「可以替换专家的产品级策略」。更关键的是，论文以「各专家环境与代码库不共享在线 rollout 接口」为由没有报告 on-policy 多专家蒸馏的数字——而那恰恰是本文解耦设定最直接的竞争方案。读者因此无法判断：42.0% 是解耦带来的必要代价，还是投影+离线规划这条特定实现路径的代价。

四、离线监督的覆盖边界没有被量化。规划器完全离线训练，监督来自每技能 20K 条投影闭环 episode。DAgger 式聚合让投影器见到了纠错状态，但规划器见到的仍然是投影策略的状态分布；一旦部署中遇到分布外的场景（新物体、新光照、新地形），系统没有在线适应机制（作者自己也把 online latent adaptation 列为未来工作）。论文没有报告分布外泛化的定量结果，真机 10 次试验的样本量也偏小。

总结与展望

FIBER 真正的贡献不是某个新网络，而是给「高层规划与全身控制之间该放什么」这个问题提供了一个可验证的答案：放一个可执行的、状态相关的行为隐指令。运动学目标丢掉了控制响应，低层动作丢掉了高频反馈，而 BFM 隐指令两头都在——它索引的是一个策略，不是一段轨迹。围绕这个判断，论文给出了三件配套工程：用动作对齐（$\mathcal{L}_{\mathrm{act}}$）而非状态/行为匹配来确定隐指令，用球面语义锚定（$\mathcal{L}_{\mathrm{sem}}$）消除动作等价的歧义，用多折扣 FB 学习（AH-BFM）让同一个隐空间同时满足投影的短时精度与规划的长时连贯。

解耦设定的工程价值可能比性能数字更持久。专家可以用不同代码库、不同观测、不同奖励独立训完，投影之后原始专家即被丢弃，规划器只需离线隐轨迹就能训练——这意味着新技能的加入不需要重新拉起整个联合训练管线，也不需要各团队的仿真环境互相兼容。SF 引导的行为复用进一步把「交互 × 全身行为」的组合成本从「每种组合一条运动参考」降到「换一个原生隐指令 $z^N$」。对一个要长期演进的机器人技能库来说，这种可加性比单点成功率更重要。

从结果看，这条路的现状是「接口成立、精度待补」：42.0% 对 3.5% 证明了表示选择的方向正确，42.0% 对 95.4% 则说明它还不能替代专家。接下来最有信息量的三步是：把在线隐空间自适应补上（作者已列为未来工作），把灵巧手纳入同一个动作对齐目标而非旁路回归，以及补一个真正的 on-policy 多专家蒸馏对照。若这三步都能走通，「冻结 BFM 隐空间作为通用行为总线」有希望成为人形技能库的一种标准组织方式。

金句