Skip to content
←返回论文库

PAPER DEEP DIVE

Robot Platform移动操作Bimanual Manipulation

MABEL:面向遥操作与学习的开源拟人移动双臂平台

面向机器人学习的任务正在从桌面走向移动与双手操作,但兼具移动、可调高度、主动感知和灵巧操作的平台通常价格高昂。作者提出 MABEL,一套 56 自由度、约 8,056 美元零件成本的开源拟人移动双臂机器人。它集成两条 7 自由度手臂、17 自由度灵巧手、俯仰躯干、升降柱、3 自由度颈部和全向底盘,指尖可达地面至 2.23 米。双臂与躯干可反驱,支持柔顺接触;头颈与躯干运动把建模相机覆盖范围扩大到躯干固定相机的约三倍。系统仅凭 Apple Vision Pro 的头手追踪即可完成全身遥操作,在机器人热点连接下实现平均 137 毫秒的端到端立体视频时延。遥操作、仿真和 ACT 策略共享同一条全身控制链路,打通了从示范采集到策略部署的完整模仿学习流程。

论文:MABEL: An Open Anthropomorphic Mobile Bimanual Platform for Teleoperation and Learning
作者:Qilong Cheng、Roohollah Khorrambakht、Mohamed Yassine Kabouri、Quang Nam Nguyen、Luca Macesanu、Haoran Zhou、Yipeng Wang、Ludovic Righetti
机构:多伦多大学;纽约大学机器人与具身智能中心;图卢兹大学 LAAS-CNRS
原文:arXiv:2611.04083v1,2026 年 11 月 2 日提交
项目页:robotmabel.github.io/website
代码:robotmabel/open_mabel,核验提交 2f9229f822b78877ed554d80649e2b7c41a0cbda;软件采用 Apache-2.0,原始硬件设计采用 CERN-OHL-S-2.0。
方向:移动操作、全身遥操作、开源机器人硬件、模仿学习

一句话总结

MABEL 用 56 个功能自由度、三模块全向底盘、可俯仰躯干与升降立柱、双七自由度力控手臂、双十七自由度灵巧手、主动双目视线,以及统一的遥操作、仿真、采数和 ACT 部署接口,构建了一台 Raspberry Pi 5 配置零件小计约 8056 美元的开源移动双臂研究平台。

实验室中的 MABEL 移动双臂机器人
图 1:MABEL 的成人尺度机身同时容纳全向底盘、升降立柱、俯仰躯干、两条七自由度手臂、两只灵巧手与主动双目相机。来源:论文图 1。

1. 为什么瓶颈不是又一个操作策略

桌面操作研究已经形成较成熟的实验范式:固定底座、固定相机、固定工作台高度,策略只需处理物体和夹爪之间的关系。家庭、实验室与车间里的任务却不服从这种简化。机器人可能需要先降低机身钻进柜体,再抬高相机查看高层搁板;需要一边改变行走方向,一边保持双手对物体的约束;还需要让头部先转向门口,而躯干继续完成上一段动作。把这些能力拆开并不困难,把它们装进同一台成本可接受、控制接口一致的机器人,才是平台研究的难点。

论文没有从某个新网络结构出发,而是先列出现有开源平台缺失的能力组合。Mobile ALOHA 证明了轮式双臂系统能够采集家庭任务数据,却主要依赖位置控制手臂和单自由度夹爪,底盘也不能独立横移。XLeRobot 大幅压缩了成本,但五自由度手臂与固定上半身使它处于另一条能力曲线。YOR、TidyBot++、OpenPyRo-A1 等平台分别补上全向运动、升降或力控能力,仍没有同时覆盖灵巧手指、主动头部、完整升降和全身控制。

商用产品证明了这种组合在工程上可行,却没有解决科研复现问题。论文比较的 Rainbow RB-Y1、Galaxea R1 Pro、Astribot S1、DexMate Vega 等系统价格从 6.9 万美元延伸到 12 万美元以上。价格只是表层障碍,更深的问题是执行器、线束、控制接口和维护流程未必开放。实验室若无法修改底层控制器,就很难研究接触、全身协调和学习策略之间的耦合。

因此,MABEL 把“便宜”定义为完整系统可负担,而不是简单减少几个关节。低成本必须同时保留反向驱动、足够大的工作空间、可更换末端执行器、开放固件与可审计的控制代码。作者的交付目标是让一个实验室能够依据物料清单制造机器人,用沉浸式设备示教,直接记录部署控制器中的关节反馈与参考值,再让学习策略通过同一控制器执行。

这篇论文的主要证据也不是某个公开基准上的最高分,而是逐层测量平台是否真的形成了闭环:手掌重复定位、轨迹跟随、轮式里程计、端到端视频延迟、遥操作家庭任务,以及一次 ACT 采数、训练和部署。对于硬件平台论文,这样的证据结构比单一任务成功率更重要,因为任何一层接口失配都会让后续学习实验失去意义。

2. 设计契约:先统一坐标与动作语义

MABEL 在操作者一侧定义世界坐标系、头部坐标系、左右手腕坐标系和估计的人体朝向坐标系;在机器人一侧定义躯干、头部相机、手掌、底盘里程计等坐标系。重定向程序持续把人的稀疏观测映射到一台躯干、升降、颈部和底盘同时在运动的机器上,因此论文首先固定坐标系之间的旋转和平移约定,再讨论逆运动学。这样的形式化不是装饰,而是防止“看起来跟手、实际目标帧漂移”的常见错误。

平台有 56 个功能自由度,却配置了 59 个执行器。两条手臂占 14 个关节,两只手共 34 个手指与手腕坐标,颈部 3 个,躯干俯仰 1 个,升降用 1 个有效高度表示,三个转向驱动模块各包含转向与驱动两个坐标,共 6 个。学习流水线统一使用 59 维测量向量与命令向量;全身控制器则知道不同坐标受不同约束,不能把轮速、手指关节和力矩关节当成同一种控制量。

系统按三种时间尺度工作。Vision Pro 的头部与手腕位姿以 60 Hz 流入;机器人关节反馈和控制命令以 50 Hz 名义频率组织;学习数据则被整理到 30 Hz 的公共网格。高层重定向把稀疏的人体跟踪结果变成身体、手臂和手指目标,运动模型检查底盘可行性,全身控制器再把目标变为安全关节速度、位置与力矩。遥操作、脚本策略和仿真都从同一命令边界进入。

这个共享边界是全文最值得复用的系统思想。若数据采集记录一种动作,训练时使用另一种归一化,部署时又绕过安全控制器,策略成功就只剩下实验室口口相传的隐性条件。MABEL 让 ACT 预测 59 维关节参考轨迹,但仍由原控制器负责碰撞、阻抗和硬件转换。学习模型不需要在一次训练中重新学会底层安全逻辑,控制器升级也能同时改善人类遥操作与自主执行。

MABEL 遥操作、控制器、硬件、仿真与学习软件栈
图 3:遥操作客户端、全身重定向、控制器、硬件抽象、MuJoCo/Isaac Lab 数字孪生和学习流水线共享动作接口。来源:论文图 3。

3. 机械结构:把够得着、推得动和走得开放在一起

底盘采用三个非共线 REV MAXSwerve 模块,而不是常见的四模块方案。三个接地点在名义载荷下形成确定支撑三角形,避免四轮过约束底盘的轮子悬空判定问题,也节省约 700 美元传动成本。代价同样清楚:支撑多边形比同尺寸四轮矩形更小,高速平移和转向都会让质心更接近某条支撑边。作者没有简单降低整个底盘的速度上限,而是把机械选择继续传到运动控制里。

机身高度会显著改变倾覆风险,因此控制器先根据升降高度估计质心高度,再用零矩点近似得到随高度变化的加速度包络。升降越高,允许的平移和转向加速度越小;机身越低,则可使用更大的动态余量。论文对前向支撑边采取更保守的系数,并检查平移加速度与转向加速度的组合,而不是分别判断后取最小值。这个细节说明三模块底盘并非只靠机械结构“站着”,其可用速度来自在线约束。

每条手臂有七个自由度,结构基于 OpenArm 改造。项目重做了外壳和线束,直接采购执行器,两条手臂合计约 3000 美元。手臂和准直驱躯干都具备反向驱动能力,这为低刚度阻抗控制、人手推动示教和接触任务提供条件。但反向驱动也意味着重力补偿不能含糊:模型错误或前馈缺失时,柔顺手臂会明显下垂,而不是只在受到外力时才让位。

躯干俯仰范围是负 60 度到正 15 度,升降立柱提供 0.635 米行程。结合手臂几何,指尖工作空间从地面延伸到 2.23 米。肩宽、臂长、63 毫米双目基线和颈部活动范围都参考成人尺度,以减少操作者动作与机器人运动学之间的差异。这里的“拟人”不是外观模仿,而是让人的伸取、低头、仰视和侧身动作能够以较小比例误差映射到机器上。

MABEL 工作空间与相机覆盖范围
图 2:论文分别计算手臂、升降和人体参考工作空间,并比较固定躯干相机与主动颈部、俯仰躯干带来的覆盖变化。来源:论文图 2。

末端执行器采用模块化手腕接口。评测配置使用两只十七自由度绳驱 ORCA 手,也可以换成其他灵巧手或 OpenArm 夹爪。这提升了复现弹性,但也意味着 56 自由度是带双手版本的数字,不能直接套到所有构建配置。研究者若换用低自由度夹爪,抓取实验和示教接口都需要按新末端的可观测能力重新定义。

感知与计算也被纳入开放设计。头部 ZED Mini 提供同步双目图像,每个手腕装有全局快门 Intel RealSense D405,水平视场分别约为 102 度和 87 度。论文还测试过 120 度头部 USB 相机与 170 度腕部相机。底盘可选 RGB-D 与激光雷达用于定位导航。定制 Teensy 板负责配电,并把以太网桥接到 CAN 与 TTL;底盘和上半身使用独立 CAN 网络,以限制共享带宽并保持子系统可替换。

主机软件已在 M1 MacBook Pro、Raspberry Pi 5、Jetson Orin 与 Jetson Thor 上验证。24 伏电池组可工作约四小时,也可换用 40 伏电动工具电池并通过稳压母线工作约两小时,实验台上还能接外部电源连续运行。报告中的 8056 美元是 Raspberry Pi 5 配置的零件小计,不含可选传感器、加工、工具、耗材与人工。第二台机器人按公开设计和物料清单组装约需两周,证明制造路径可重复,但还不等于多实验室统计意义上的可复现性。

MABEL 硬件剖面与模块标注
图 4:硬件剖面展示手臂执行器、头部双目、手部伺服、升降立柱、计算单元、电池与三组转向驱动模块。来源:论文图 4。
项目MABEL 规格系统意义
功能自由度 / 执行器56 / 59双手、主动视线、躯干、升降和全向底盘进入统一命令表示
质量与底盘尺寸61.8 千克;0.49 米乘 0.49 米实验室可搬运尺度,支撑多边形约 0.34 米乘 0.35 米
机身与伸展整体高度 1.16 至 1.80 米;指尖最高 2.23 米无需更换底盘结构即可覆盖地面到高处任务
手臂与手两条七自由度反向驱动手臂;两只十七自由度 ORCA 手同时支持柔顺接触、手指姿态和捏取
躯干与升降负 60 至正 15 度俯仰;0.635 米升降覆盖低位、深位和高位工作区
移动方式三模块全向转向驱动底盘平移与旋转可独立命令,同时受防倾覆包络约束
零件小计Raspberry Pi 5 配置约 8056 美元不含可选传感器、工具和工程人工

4. 遥操作:从稀疏人体跟踪生成全身动作

Vision Pro 提供头部方向、手腕位姿和每只手 27 个跟踪关键点,而机器人有 56 个功能自由度。输入观测远少于机器人坐标,因此系统不尝试恢复操作者完整的人体骨骼,而是在约十秒校准阶段估计一组较小的人体状态:左右手臂可达长度、头部相对肩部偏移、手部尺度等。随后重定向器只把必要状态分配给机器人身体部位,避免对不可观测自由度做虚假重建。

头部平移到行走的映射使用舒适区。将操作者头部相对校准锚点的位移转换到估计的人体朝向坐标系后,落在矩形区域内的部分用于躯干前倾或侧倾,超出区域的部分才生成底盘平移命令。论文设置的头部平面舒适区约为前后负 0.02 至 0.18 米、左右正负 0.12 米。这样,小幅观察动作不会立刻带动整台机器人,较大位移仍能触发移动;重新居中、松开离合或跟踪丢失时则重置锚点。

$$ \begin{bmatrix}\Delta\mathbf{r}\\ \Delta z\end{bmatrix} ={}^{w}\mathbf{R}_{b}^{\top}\left({}^{w}\mathbf{p}_{h}-{}^{w}\mathbf{p}_{h,a}\right), \qquad \Delta\mathbf{r}_{\mathrm{lean}}=\operatorname{clip}_{\mathcal{B}}(\Delta\mathbf{r}), \qquad \Delta\mathbf{r}_{\mathrm{walk}}=\Delta\mathbf{r}-\Delta\mathbf{r}_{\mathrm{lean}}. $$

保留的头部状态继续生成躯干俯仰、升降高度和底盘位置目标。躯干角与水平前倾量成比例,升降高度直接吸收垂直位移,底盘参考则在里程计坐标系中按底盘朝向旋转行走分量。三组目标分别由俯仰、立柱和三模块底盘执行,而不是全部压给底盘或手臂。全身可用性来自这种职责分解,但分解也意味着标定误差会沿链路传播。

$$ q_{\mathrm{torso}}^{*}=q_{\mathrm{torso},0}-\gamma\Delta x_{\mathrm{lean}}, \qquad z_{\mathrm{lift}}^{*}=z_{\mathrm{lift},a}+\Delta z, \qquad {}^{o}\mathbf{r}_{\mathrm{base}}^{*} ={}^{o}\mathbf{r}_{\mathrm{base},a} +\mathbf{R}_{z}(\psi_{o,a})\Delta\mathbf{r}_{\mathrm{walk}}. $$

颈部目标必须同时补偿人的头部相对朝向和机器人躯干俯仰。如果只复制头部绝对朝向,躯干前倾会被误当成低头命令;若只控制相对角度,又会丢失操作者真正想看的方向。论文先从人体朝向变换到头部朝向,再用偏航、俯仰、滚转分解得到颈部目标,最后减去躯干俯仰贡献。这样机器人前倾时仍可把相机保持在同一个视觉目标上。

$$ \mathbf{q}_{\mathrm{neck}}^{*} =\operatorname{ypr}\left({}^{w}\mathbf{R}_{b}^{\top}{}^{w}\mathbf{R}_{h}\right) -\begin{bmatrix}0&q_{\mathrm{torso}}^{*}&0\end{bmatrix}^{\top}. $$

手臂目标保留手腕相对肩部的位移,但按人体与机器人臂长比例缩放。这个比例既保留操作者伸取方向,也避免短臂操作者在头部跟踪中的小位移被原样复制成机器人不足的行程。肩部锚点由人体状态与机器人躯干共同确定,腕部目标随后进入七自由度手臂加一个手 wrist 坐标的八维逆运动学。

$$ {}^{r}\mathbf{p}_{e_i}^{*} ={}^{r}\mathbf{o}_{r,i} +s_i\,{}^{w}\mathbf{R}_{b}^{\top} \left({}^{w}\mathbf{p}_{i}-{}^{w}\mathbf{o}_{h,i}\right), \qquad s_i=\frac{L_i^{r}}{L_i^{h}}. $$

逆运动学不只最小化腕部位置误差,还约束手掌法向、手指轴和肘部方向,并用参考姿态抑制七自由度手臂在等价解之间跳动。代码中的 arm_cosine.py 把接触点误差给最高权重,方向和姿态使用一减余弦相似度,再加入前后帧平滑与名义姿态正则。优化器采用带关节边界和热启动的 SLSQP。

$$ \begin{aligned} \mathbf{q}_{\mathrm{IK}}=\arg\min_{\mathbf{q}}\quad &\left\|{}^{r}\mathbf{p}_{e_i}(\mathbf{q})-{}^{r}\mathbf{p}_{e_i}^{*}\right\|^2\\ &+w_{\mathrm{dir}}\sum_{j\in\mathcal{U}} \left(1-\mathbf{u}_j(\mathbf{q})^{\top}\mathbf{u}_j^{*}\right) +w_{\mathrm{rest}}\left\|\mathbf{q}-\mathbf{q}_{\mathrm{rest}}\right\|^2\\ \mathrm{s.t.}\quad &\mathbf{q}_{\min}\le\mathbf{q}\le\mathbf{q}_{\max}. \end{aligned} $$

loss  = C.ARM_W_WRIST * float(np.sum((rc - hk["contact"]) ** 2))
loss += C.ARM_W_ELBOW * (1.0 - float(np.dot(ed, hed)))
loss += C.ARM_W_ORIENT * ((1.0 - float(np.dot(rfwd, hk["fwd"])))
                          + (1.0 - float(np.dot(rup, hk["up"]))))
loss += C.ARM_W_SMOOTH * float(np.sum((q - q_prev) ** 2))
loss += float(np.sum(self.reg_w * (q - self.q_nom) ** 2))

每只 ORCA 手有 16 个手指关节。手指重定向先拟合五个指尖位置,再在检测到捏取时增加拇指到指尖的方向约束。公开实现把捏取权重设计成条件式:拇指与目标指尖的归一化距离低于 0.55 才启用捏取项,若多指同时靠近则视为整手抓握并放松捏取行。这个细节避免握拳操作被优化器拉成不自然的钳形。

$$ \mathbf{q}_{f}^{*}= \arg\min_{\mathbf{q}_{f}} \left\|\mathbf{P}(\mathbf{q}_{f})-\bar{\mathbf{P}}\right\|_{F}^{2} +w_{\mathrm{pinch}}\sum_m \left\|\boldsymbol{\delta}_m(\mathbf{q}_{f})-\bar{\boldsymbol{\delta}}_m\right\|^{2}, \quad \mathbf{q}_{f,\min}\le\mathbf{q}_{f}\le\mathbf{q}_{f,\max}. $$

MABEL 多种全身遥操作模式
图 5:局部跟踪用于侧向伸取、前向伸取、高处与地面任务、躯干和底盘跟随;全局摇杆与第一、第三人称界面提供另一种底盘和升降控制方式。来源:论文图 5。

5. 网络链路与安全控制

遥操作网络以交互为目标而非文件传输。命令通过 WebSocket 只保留最新消息,旧位姿若尚未消费就被新位姿替代;视频通过 UDP 队列只保留最新帧,偶发丢包只损失一帧,不会让排队延迟不断累积。系统可连接机器人自身热点、局域网或 Tailscale,操作方式不绑定某一种网络基础设施。

三模块底盘的全向运动需要把平面速度与角速度分配给每个模块。设底盘平移速度为平面向量,角速度为标量,模块安装位置相对旋转中心的向量为对应坐标,则模块接地点速度必须满足刚体平面运动关系。该速度向量的方向决定转向角,模长决定轮速;当某个模块达到速度极限时,控制器按同一比例缩放整个命令,保持运动方向不变。

$$ \mathbf{v}_j=\mathbf{v}+\omega\mathbf{S}\mathbf{r}_j, \qquad \mathbf{S}=\begin{bmatrix}0&-1\\1&0\end{bmatrix}. $$

防倾覆近似保留底盘平动加速度、科氏项、切向项和向心项,并把质心高度写成升降高度的仿射函数。对每条支撑边,按外向法线、质心投影到边的距离和保守安全系数计算允许加速度,再求所有边中最大的利用率。控制器把命令缩放到利用率不超过一,确保平移与转向的组合不会绕过单轴检查。

$$ \mathbf{a}_{c}\approx \dot{\mathbf{v}}+\omega\mathbf{S}\mathbf{v} +\dot{\omega}\mathbf{S}\mathbf{r}_{c} -\omega^{2}\mathbf{r}_{c}, \qquad h_{c}(z_{\mathrm{lift}})=h_{0}+k_{h}z_{\mathrm{lift}}. $$

$$ a_k^{\max}=\frac{g\ell_k}{\sigma_k h_c(z_{\mathrm{lift}})}, \qquad u=\max_k\frac{-\mathbf{n}_k^{\top}\mathbf{a}_c}{a_k^{\max}}. $$

逆运动学给出目标构型,却不保证路径避碰。全身控制器因此把期望关节速度投影到离散控制屏障约束内。每对受保护连杆包裹为胶囊体,约束根据两胶囊表面距离、相对速度雅可比、安全边距和修复速率限制距离继续缩小的速度;若已经越过边界,约束要求以足够快的速度恢复。

$$ \begin{aligned} \dot{\mathbf{q}}^{*}=\arg\min_{\dot{\mathbf{q}}}\quad &\frac{1}{2}\left\|\dot{\mathbf{q}}-\dot{\mathbf{q}}_{\mathrm{des}}\right\|^2\\ \mathrm{s.t.}\quad &\dot{\mathbf{q}}_{\min}\le\dot{\mathbf{q}}\le\dot{\mathbf{q}}_{\max},\\ &-\mathbf{J}_{c}\dot{\mathbf{q}}\le\kappa(d_c-d_s), \quad\forall c\in\mathcal{C}. \end{aligned} $$

最终执行层使用关节空间阻抗。前馈重力与摩擦项决定低刚度控制是否像有意的柔顺,还是像松动机构;刚度与阻尼项把关节拉向平滑参考。控制器还限制轻质腕关节的阻尼,防止离散时间下的高增益振铃。代码中的 engine.py 明确区分纯位置控制、阻抗和柔顺三种模式,并把重力前馈应用到未被当前控制组拥有的腕、颈、升降和躯干坐标,避免切换模式时这些连杆下沉。

$$ \boldsymbol{\tau} =\boldsymbol{\tau}_{g}(\mathbf{q}) +\boldsymbol{\tau}_{f}(\dot{\mathbf{q}}) +\mathbf{K}(\mathbf{q}^{*}-\mathbf{q}) +\mathbf{D}(\dot{\mathbf{q}}^{*}-\dot{\mathbf{q}}). $$

pure_pd = self.control_type == "pd"
K = self.stiffness if self.control_type == "impedance" else 0.0
D0 = self.damping + (self._damp_ratio * np.sqrt(K) if K > 0.0 else 0.0)
...
tau = b[dof] + K * (qdes - q) - D * qd

6. 仿真、采数与 ACT 的共用接口

数字孪生不是另一套演示环境。MuJoCo 与 Isaac Lab 模型包含全部 59 个执行坐标、35 个预置场景,以及仿真相机与激光雷达流。仿真桥保持与硬件相同的命令和观测形状,因此遥操作标定、重定向、数据记录与策略推理能在仿真和实机之间迁移。研究者可以在不下单全部硬件的情况下检查接口,也可以用真实采集的数据回到可控场景中定位失败。

策略实验记录 80 次 Vision Pro 示教,再切成 117 个 episode,共 38.0 分钟、68364 帧。每段包含头部双目、左右腕部 RGB、可用深度、关节反馈、命令参考、底盘速度和升降点动命令。原始记录保留各流时间戳与有效性;整理阶段把每条流对齐到 30 Hz 公共网格,并选择网格之前的最新有效样本。

虽然当前任务主要使用上半身,状态和动作仍保持 59 维。这样未来策略开始控制底盘或升降时,数据格式与部署接口不必整体更换。当前实验中,底盘与升降保持在初始构型附近,所以 ACT 的成功不能解释为移动全身自主能力,而只能证明带双手的上身抓放链路已经连通。

MABEL 家庭遥操作任务序列与柔顺接触
图 6:六行各为一次连续遥操作,展示擦桌、开冰箱、取高处物品、提篮、开洗碗机和外部施力下的柔顺反应。来源:论文图 6。

ACT 接收左头部图像与两路腕部图像,分辨率均为 320 乘 240,并接收过去一秒按 5 Hz 采样的关节位置。网络预测未来 120 个关节参考步,对应 30 Hz 下四秒轨迹;每次执行第一秒后重新规划,不使用时间集成。训练在 Apple M1 Max 上以批大小 24 运行 8000 步,耗时约六小时。

预测关节参考不会直接变成电机命令。它先进入与遥操作相同的全身控制器,再经过碰撞约束、阻抗和硬件转换。这是论文最重要的系统主张:学习模型负责生成身体层面的动作轨迹,控制器继续负责接触柔顺和安全边界;采数与部署对“一个动作”的含义完全一致。

flowchart LR
    V[Vision Pro 头手追踪] --> R[全身重定向]
    R --> C[舒适区与身体分量]
    C --> T[躯干俯仰与升降]
    C --> B[三模块底盘参考]
    R --> A[八维手臂逆解]
    R --> H[十六关节手指逆解]
    B --> Z[支撑边防倾覆缩放]
    A --> Q[胶囊碰撞约束]
    H --> Q
    T --> Q
    Z --> Q
    Q --> I[关节阻抗与位置控制]
    I --> P[实体 MABEL 或 MuJoCo 孪生]
    P --> D[头部腕部深度与关节记录]
    D --> L[整理到三十赫兹并导出]
    L --> ACT[训练 ACT 预测一百二十步]
    ACT --> Q

7. 实验:每个数字对应哪一层能力

论文的实验不试图证明通用操作智能,而是分别检验机械重复性、局部轨迹质量、里程计可信度、视频交互延迟和策略部署。对平台论文而言,这是合理的分层证据:任何一层出现数量级错误,都会让“可采数、可学习”的整体主张失效。

7.1 上身重复定位与轨迹跟随

重复性测试让手掌从共同初始位置依次访问四个检查点,循环十次,上半身使用带重力补偿的位置控制。手掌重复定位中位误差为 1.65 毫米,最好检查点达到 0.46 毫米。按关节分解时,躯干造成的最大贡献约为每掌 0.56 毫米均方根。这说明机械回程与控制器重复性足以支持实验室重复实验,但它不是外部计量系统测得的绝对精度。

轨迹跟随让左右手掌绘制镜像螺旋与边长 20 厘米的方形,在躯干零度和负十度两种状态下各做三次。几何轨迹均方根误差为 3.7 至 6.7 毫米,按时间直接比较则升到 15 至 19 毫米。将时间滞后补偿后误差回到 5 至 9 毫米。差距表明较大的“跟踪误差”主要来自相位延迟,而不是手臂把形状画歪。

重力前馈是单项影响最大的机制。相同柔顺增益下,没有前馈时手掌误差为 194 毫米,加入后降到 45 毫米。这个结果解释了软件为何强调模型补偿:单纯增大刚度可以减少下垂,却会消除平台刻意保留的反向驱动和柔顺接触。研究平台必须同时测量误差来源,否则容易把“够硬所以准”误当成控制质量。

测试条件论文结果解读
手掌重复定位四个检查点,十次循环中位 1.65 毫米;最好 0.46 毫米适合重复实验室操作与采数
最大关节贡献按关节分解离散度躯干约每掌 0.56 毫米均方根躯干标定和控制是主要回程误差来源
几何轨迹误差镜像螺旋与方形,两种躯干角度均方根 3.7 至 6.7 毫米空间形状比时间同步更准确
直接时间对齐误差同一轨迹逐时刻比较均方根 15 至 19 毫米控制器相位滞后占主导
滞后补偿误差平移时间轴后比较均方根 5 至 9 毫米补偿后大部分残差消失
柔顺手掌误差有无重力前馈194 毫米降至 45 毫米模型前馈是低刚度控制的前提

7.2 里程计与交互延迟

轮式里程计由三个转向模块的驱动编码器与转向角积分得到,并与 ZED 视觉惯性位置及惯性航向比较。在 121 秒完成 5.72 米的局部重复路径上,位置均方根差为 13.5 毫米,偏航差为 1.63 度。在 35 秒完成 1.55 米的转向方形路径上,位置差为 17.7 毫米,偏航差为 1.47 度。结果支持一次遥操作会话中的短时底盘参考跟随,却不足以证明整栋建筑内的长期定位和地图一致性。

延迟用灰码时钟测量:操作者屏幕显示计数,机器人头部相机拍下该屏幕,再把图像送回同一个显示器,由此把曝光、编码、传输、解码和显示都包含在端到端链路中。机器人热点三次试验的平均玻璃到玻璃延迟为 137 正负 5 毫秒,局域网为 150 正负 0.2 毫秒,Tailscale 点对点为 161 正负 16 毫秒,公共中继约为 260 毫秒。

连接路径平均玻璃到玻璃延迟波动主要结论
机器人自身热点137 毫秒正负 5 毫秒测得最快的本地路径
局域网150 毫秒正负 0.2 毫秒非常稳定,略慢于直连热点
Tailscale 点对点161 毫秒正负 16 毫秒可用,随路由变化更明显
公共中继约 260 毫秒推导值中继传输额外增加约 145 毫秒

延迟分解显示,相机本身在所有路径上都占 101 至 108 毫秒,编解码与显示再加约 12 毫秒。传输是随路径变化的部分:热点约 25 毫秒,局域网约 31 毫秒,公共中继约 145 毫秒。也就是说,即使把网络延迟降为零,相机与显示链仍决定了下限。后续优化若只替换传输协议,收益会受硬件感知环节限制。

7.3 ACT 与遥操作任务宽度

ACT 在十次自主试验中成功八次。物体随机放在 20 厘米乘 20 厘米区域内,每次限制 60 秒。训练、验证和测试按 take 划分,分别使用 64、8、8 个 take,而不是把同一次示教切出的相邻片段随机分到不同集合。这个划分能减少几乎相同的连续帧跨集合泄漏,但样本总量仍然很小。

十次成功八次说明采集、整理、训练和部署链路已经接通,却不能被外推为稳健移动操作。物体集合、放置区域和任务都很窄,底盘与升降基本不动,也只测试一种双手配置。作者在局限中明确承认这一点。遥操作家庭任务覆盖擦桌、开冰箱、取高处物品、提篮、开洗碗机和外部施力反应,展示的是接口与身体能力,不是自主学习在同样任务上的泛化结果。

六行遥操作任务交替调用不同子系统。擦桌依赖灵巧手与双臂协调;开冰箱需要底盘靠近、手臂施力、头部视线和躯干共同作用;高处取物需要升降、颈部、手臂和手;提篮同时约束双臂并伴随底盘移动;洗碗机交互测试深位伸取和躯干俯仰;最后一行通过外部推动手掌和躯干展示柔顺。任务矩阵比单一成功数更能说明平台为何不能退化成“移动底座加两个固定机械臂”。

对比平台底盘手臂与手颈部与身体论文列出的成本
Mobile ALOHA非全向两条六自由度手臂;单自由度手无颈;固定身体3.2 万美元
AhaRobot非全向两条六自由度手臂;单自由度手两自由度颈;升降1000 美元另加计算
XLeRobot全向两条五自由度手臂;单自由度手无颈或身体行程660 美元
OpenPyRo-A1固定两条七自由度手臂;单自由度手无颈;腰部1.4 万美元
Reachy 2全向两条七自由度手臂;单自由度手三自由度颈;无升降7 万美元
论文引用商用范围多数全向两条七自由度手臂;零至六自由度手不同颈部与升降组合6.9 万至 12 万美元以上
MABEL三模块全向两条七自由度手臂;两只十七自由度手三自由度颈;升降与俯仰躯干8056 美元零件小计

8. 局限:证据边界与工程代价

第一项局限来自作者自述:升降立柱成本低、行程大,却明显慢于专用串并联身体。短任务中操作者可以等待立柱到位,长时间连续改变高度的任务会暴露动作迟滞。作者把未来的折叠式身体列为方向,希望通过腰、膝和踝关节获得更快的姿态变化,而不是继续用一根立柱承担全部垂直自由度。

第二项局限是人体比例不完全一致。OpenArm 的整体长度和肩部几何经过缩放,但连杆比例并非人体解剖比例,因此重定向时可能出现某些姿态“数学可达、体感不自然”的情况。更接近人的分段长度能改善动作映射,也会增加机械设计与制造成本。论文把这一点作为平台下一轮结构迭代的问题。

第三项局限来自 ACT 实验本身。20 厘米乘 20 厘米放置区、桌上抓取和放盘都不测试底盘移动、升降变换和长时任务恢复。网络虽然可以输出 59 维轨迹,但预测某个坐标不等于已经证明对该坐标具备自主能力。要支持移动全身操作,需要任务主动改变底盘位姿和水平高度,并在物体、布局与失败恢复上扩大测试。

机械证据也有边界。重复性和轨迹测试只覆盖一台机器人、一次装配和局部工作空间;里程计只比较短路径;论文没有长期漂移、批量装配一致性、满载热稳定和连续运行寿命统计。第二台机器人能够组装,证明物料与文档可操作,却还不是多个实验室独立复现的统计结果。

成本必须按论文口径理解。8056 美元是采用 Raspberry Pi 5 的单台零件小计,不含可选导航传感器、工具、加工条件、失败打印、装配时间和调试人工。OpenArm 与 ORCA 的复用提高了可维护性,但关键供应商、价格和库存变化仍可能让复现预算偏离论文数字。

安全层同样不是完整认证。防倾覆包络、胶囊碰撞约束、速度限制和柔顺控制能降低风险,但一台 61.8 千克、带移动升降和灵巧手的机器人仍需要现场风险评估、急停、工作区隔离和操作训练。论文展示的是研究级安全机制,不是消费级或工业级安全认证案例。

9. 开源设计真正带来了什么

MABEL 最可复用的贡献不是 56 个自由度本身,而是让动作表示在遥操作、仿真、采数和策略执行之间保持稳定。一个策略可以输出关节参考,但安全控制器仍负责阻抗、碰撞、底盘限制与设备转换。于是,学习模型不必在一次训练中吸收全部底层硬件差异,控制器改进也能同时作用于人类示教与自主执行。这种分层比把所有功能塞进端到端模型更适合研究平台,因为每个边界都可以独立测量和替换。

公开仓库让论文中的多个公式可以逐项核对。手臂余弦损失、手指捏取切换、转向模块速度关系、支撑边利用率、控制屏障约束和阻抗律都能在代码中找到对应结构。硬件平台论文常见的问题是机械设计与软件描述彼此脱节,读者只能相信作者声称接口存在;MABEL 至少把大部分关键边界暴露为可检查的实现。

开源并不意味着复现没有门槛。CAD、固件、ROS 2 控制栈、重定向、数字孪生与学习流水线仍需要机械加工、嵌入式调试和系统集成能力。真正的价值是这些工作不再是每个实验室各自重写一遍的私有基础,而可以在同一个平台、同一套数据语义和同一套安全层上积累比较。

10. 结论

MABEL 把过去常见于高价商用系统的移动双臂能力组合压到一个开源、可制造的平台上。三模块全向底盘提供独立平移与旋转,升降、俯仰躯干、颈、双臂和双手覆盖从地面到 2.23 米的高位操作;反向驱动关节支持柔顺接触,Vision Pro 把稀疏人体观测转换成全身命令。137 毫秒级本地视频延迟、毫米级重复定位、厘米级短程里程计差和十次八成功的 ACT 实验共同证明,这套集成系统在受控实验条件下能够完成从示教到部署的闭环。

局限与数字同样具体。升降速度限制动态任务,手臂比例仍不拟人,ACT 尚未验证移动自主,成本不包含工程人工与可选传感器,安全也只达到研究机制层面。这些限制没有抹去平台贡献,它们把后续问题指向更快的拟人身体、长时全身学习、板上定位建图,以及能够组合已学技能的任务规划。

论文最强的结论因此兼具技术与社区意义。研究移动操作不应要求每个大学实验室先用互不兼容的零件重建遥操作、仿真、控制器、数据格式和学习基础设施。MABEL 提供一个共享开源身体和一条共享命令路径,让不同实验能在可比较的基础上累积,而不是每篇论文都从另一台机器人的接口重新开始。

金句:MABEL 的价值不在于 56 个自由度单独看多惊人,而在于同一种身体级命令既能由人产生,也能由仿真或学习策略产生,并且都必须穿过同一层可检查的安全与柔顺控制。

可追溯性:本文基于 arXiv 全文与提交 2f9229f822b78877ed554d80649e2b7c41a0cbda 的公开代码。原文地址:https://arxiv.org/abs/2611.04083;项目页:https://robotmabel.github.io/website/;代码:https://github.com/robotmabel/open_mabel。

相关论文

UniWAM:混合流世界-动作建模与操作锚点位姿监督的统一移动操作

UniWAM:混合流世界-动作建模与操作锚点位姿监督的统一移动操作

UniWAM 将导航与操作建模为共享视频和动作扩散主干上独立采样的两条控制流,并用大规模自动生成的操作锚点位姿监督机器人停靠,在 MAP-Bench 与 24 项真机任务上提升导航精度和移动操作成功率。

Wei Xue, Keliang Liu, Mingzhang Cui · 117次阅读 · 2026年9月30日
移动操作世界动作模型
2026年9月30日
面向未知负载的人形机器人自适应全身MPC与最优姿态规划

面向未知负载的人形机器人自适应全身MPC与最优姿态规划

人形机器人搬运未知负载时,质量、质心和惯量突变会破坏全身平衡。论文把质心MPC、基于Capture Point误差的自适应模糊补偿和三重积分姿态过渡规划组合起来:MPC生成满足接触、摩擦与关节约束的参考运动;模糊控制器把修正力矩分配到支撑腿;规划器生成蹲下、起立与搬运的平滑可行轨迹。MuJoCo仿真和28自由度真实平台验证了7 kg与10 kg负载的稳定起落,以及7 kg负载行走搬运的鲁棒性。

Manh Cuong Nguyen, Duc Cuong Vu, Viet Anh Vu · 182次阅读 · 2026年10月9日
人形机器人全身控制
2026年10月9日
面向通用人形移动操作的动作对齐隐空间规划

面向通用人形移动操作的动作对齐隐空间规划

FIBER 提出用冻结行为基础模型(BFM)的可执行隐空间,作为人形机器人移动操作的统一规划表示。其隐策略投影(LPP)把独立训练的各任务专家映射进该空间:不匹配运动轨迹,而是让隐命令经冻结 BFM 诱发的动作去对齐专家在局部状态下的控制响应,从而在降低规划频率的同时保留 BFM 的高频闭环物理反馈。投影完成后,各技能的闭环隐轨迹被聚合,用于完全离线地训练一个单一感知流匹配规划器;该规划器以机载深度图、本体感知与语言/路点转向令牌为条件,预测未来 1 秒的隐命令序列,并以滚动时域方式反复重规划。论文还提出 AH-BFM:用多折扣(multi-gamma)前向-后向学习在同一隐空间内兼顾短程精确控制与长程行为结构,并用后继特征引导的行为复用把搬运等交互与蹲行、跪行等原生全身行为组合。在 IsaacSim 中每任务 128 种变化下,FIBER 平均成功率 42.0%,是固定隐轨迹回放(11.6%)的三倍以上,远超运动学规划(3.5%);真实 Unitree G1 上搬箱 6/10、开门 4/10、抓取 2/10,规划器 5 Hz、BFM 50 Hz 同跑在一块笔记本 GPU 上。

Yutang Lin, Guanya Shi, C. Karen Liu · 274次阅读 · 2026年10月17日
人形机器人移动操作
2026年10月17日
GPT-6 Astra具身策略系统评测

GPT-6 Astra具身策略系统评测

六域评测GPT-6 Astra具身策略:混合控制RoboDojo成功率48%、导航RxR达92%,但手内操作与密集步态仍不可靠,推理延迟制约实用控制。

Galbot Team, Chen, Xuchuan, Cheng, Xiaoqian · 534次阅读 · 2026年9月29日
具身智能机器人操控
2026年9月29日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。