Skip to content
←返回论文库

PAPER DEEP DIVE

灵巧操作触觉开源硬件

MIDAS Hand:低成本模块化触觉灵巧手

UCLA 开源的 16 自由度人形灵巧手,集成 283 个三轴触觉单元,具备低背驱力矩、模块化装配与遥操作数据采集能力。

论文:MIDAS Hand: Modular low-Impedance Directly-driven Anthropomorphic Sensing Hand。 作者:Alvin Zhu、Mingzhang Zhu、Quanyou Wang、Beom Jun Kim、Jose Victor S. H. Ramos、Dennis Hong。 机构:加州大学洛杉矶分校(UCLA)。 论文链接:arXiv:2607.14487。 项目页:midas-hand.com。 代码状态:已公开,组织页为 midas-hand-org,包含控制接口、重定向和遥操作三个仓库。

MIDAS Hand 整手外观与主要规格

图 1:MIDAS Hand 的整体结构、人手的尺度参照与核心规格。本文要同时解决低成本、低阻抗、触觉感知和可维护性四个约束。

一句话总结

MIDAS Hand 用小规模、可替换的硬件工程换取真实实验能力:16 个关节自由度、13 个直驱电机、283 个三轴触觉单元、约 700 克整手和低于 3000 美元的物料成本,共同组成一个面向触觉操作与人类动作采集的开源平台。

研究背景与动机

灵巧操作研究常被描述为控制算法和机器学习模型的问题,但论文首先指出一个更基础的瓶颈:研究者很难获得同时具备人手尺度、足够自由度、触觉反馈、可维护性和合理价格的机械手。只提升其中一项并不困难,难的是把这些条件放进同一台可以反复实验的设备。

商用灵巧手通常有成熟的驱动和软件,但价格高、内部结构封闭,实验者很难修改硬件或深入控制接口。已有的开源方案又常在权衡中牺牲另一部分能力。例如 LEAP Hand 成本较低且采用拟人构型,但尺寸偏大并且没有集成触觉;RUKA、RUKA v2 和 ORCA 采用腱驱动,结构更复杂;CRAFT 引入硬软混合柔性,但同样依赖腱传动。MIDAS Hand 的定位不是在每一项指标上追求极限,而是把这些能力做成一套实验室可以购买、装配、维修和重新编程的组合。

论文特别强调人手尺度。物体、工具和操作技能大多由人的手部尺寸塑造,机械手如果与人手在手掌大小、指长和拇指对掌范围上接近,视觉示范、动作重定向、遥操作以及从人到机器人的技能迁移都会更容易。尺寸并非外观细节,而是数据接口的一部分。

触觉是第二个动机。视觉在遮挡、细小接触和滑动过程中无法直接观察接触力,触觉阵列则可以提供法向压力、切向剪切和接触位置。对于抓取稳定性、接触状态识别和未来的闭环控制,触觉数据是视觉数据无法替代的模态。

第三个动机是维护成本。灵巧手经常在反复抓取、碰撞和过载实验中工作,坏一个指尖或一个关节就返回厂家维修,会破坏研究节奏。MIDAS Hand 把食指、中指和无名指做成相同模块,每个模块自带三个电机、四连杆机构和触觉单元,整手可在三小时内装配,单个手指模块平均十五分钟内替换。

预备知识:自由度、直驱与被动关节

“主动自由度”是能被电机独立命令的关节数,“总自由度”还包括由机构被动约束驱动的关节。MIDAS Hand 的拇指有四个主动关节;食指、中指和无名指各有三个主动关节,另外各有一个被动远端指间关节。因此整手的总自由度与主动自由度可以写成:

$$D_{\mathrm{total}}=D_{\mathrm{active}}+D_{\mathrm{passive}}=13+3=16$$

这个等式说明了设计取舍:每根非拇指手指用三个电机控制四个关节,省掉一个电机、一套布线和一部分控制变量,但代价是远端关节不能独立运动。

直驱并不等于把电机直接粘在关节上。论文中的直驱是指每个电机通过短刚性连杆传动到对应关节,不使用贯穿手掌或前臂的长腱绳。这样仍有传动机构,却没有腱的预紧、摩擦、蠕变和断裂问题,电机也全部位于手部附近。所有主动关节都使用同一个型号的 Dynamixel XM335-T323-T,便于维修和标定。

被动远端关节采用交叉四连杆。PIP 关节转动时,连杆几何决定 DIP 关节的位置,二者不是简单固定比例,而是由连杆轨迹建立非线性耦合。硬件接口通过查表插值得到被动关节角,仿真模型则用闭合约束复现同一运动关系。

方法详解

1. 人手尺度的四指结构

样机外形尺寸为 205 × 120 × 55 毫米,重量约 700 克。它只有四根手指,没有小指。这个选择降低了零件数量、驱动数量和成本,也让三根非拇指手指可以共享同一套模块设计。其风险也很直接:依赖尺侧支撑的抓取会受到影响,论文的 GRASP 分类实验也正好暴露了这一点。

拇指包含四个主动自由度,并采用倾斜的第二关节轴,而不是把拇指垂直安装在手掌侧面。倾斜轴改变拇指的扫掠平面,使拇指能够横跨掌心与其他指尖对掌。论文报告拇指对掌范围从食指到中指、无名指依次下降,这与人类手部的桡侧到尺侧趋势一致。

MIDAS Hand 关节命名与运动学结构

图 2:MIDAS Hand 的关节命名。拇指四关节主动,三根相对手指各有三个主动关节和一个被动 DIP。

2. 交叉四连杆把复杂度压回机械结构

非拇指手指的 MCP 侧摆、MCP 屈伸和 PIP 屈伸由三个电机驱动,DIP 由交叉四连杆被动带动。论文认为这种欠驱动构型在强力抓取时可以提升顺应性:当指尖接触物体后,被动连杆允许远端关节随接触几何调整,而不要求控制器独立求解第四个关节。

四连杆带来的不是简单的线性约束。设主动 PIP 角度为 $q_{\mathrm{PIP}}$,被动 DIP 和辅助连杆角分别为 $q_{\mathrm{DIP}}$ 与 $q_{\mathrm{link}}$,那么:

$$q_{\mathrm{DIP}}=f_{\mathrm{DIP}}(q_{\mathrm{PIP}}),\qquad q_{\mathrm{link}}=f_{\mathrm{link}}(q_{\mathrm{PIP}})$$

代码没有在每个控制周期求解完整闭链方程,而是预先保存连杆几何生成的查值表。对外输出的仍是完整的 16 维关节状态,但硬件层只向 13 个电机发送命令。

被动 DIP 连杆与人手食指工作空间对比

图 3:被动 DIP 连杆以及机械食指与人食指的矢状面工作空间比较。论文在假设整体指长一致后报告 80.1% 的人手工作空间覆盖率。

3. 直驱带来的低背驱力矩

背驱力矩是外力推动关节开始运动所需克服的力矩。测试时关闭电机力矩,锁住其他关节,用数字测力计缓慢增加外力,再把运动起始点的力换算成关节力矩。这个指标衡量的是被动机械阻抗,而不是电机主动柔顺控制的效果。

由于所有主动关节使用相同电机和相近的连杆传动,MIDAS Hand 的关节背驱力矩约为 0.02 牛·米,并且在 MCP、PIP、拇指 CMC、MP 和 IP 上基本一致。被动 DIP 继承 PIP 的顺应性。较低的机械阻抗使手在碰撞或突然负载时更容易退让,也减少了对高带宽力控的依赖。

论文在同一套测力计流程下测试 Sharpa Wave 和 Wuji Hand。Sharpa Wave 的结果为 0.03 至 0.62 牛·米,Wuji Hand 的关节无法被背驱。这里的比较价值不只在绝对数字,还在于它暴露了同为直驱方案时,传动摩擦、减速结构和关节位置会显著改变实际机械阻抗。

4. 283 个三轴触觉单元怎样分布

三根相对手指的指尖使用 Paxini PX6AX-GEN3-DP-S2015-Elite,每个提供 52 个三轴触觉单元;拇指使用面积更大的 M2826-Omega,提供 127 个单元。总数不是抽象的“高密度触觉”,而是可以直接计算的:

$$N_{\mathrm{taxel}}=3N_{\mathrm{elite}}+N_{\mathrm{thumb}}=3\times52+127=283$$

厂商给出的量程为法向 25 牛、切向正负 10 牛,最高输出频率 83.3 赫兹,最小识别力 0.1 牛,空间间距约 1 毫米。论文展示的是抓取过程中的接触读数,而不是只列传感器参数;这使读者能判断阵列是否覆盖主要接触面,以及多轴数据能否随关节状态一起进入采集接口。

MIDAS Hand 抓取过程中的三轴触觉读数

图 4:抓取时拇指与指尖触觉阵列的读数。三轴信号同时给出法向压力和切向剪切分布。

5. 电子架构围绕“可替换模块”组织

手掌内定制分电板向所有 Dynamixel 电机分配电源和 TTL 总线,每个手指模块通过少量连接器接入。更换手指时不需要拆开整只手重新布线。外部的 U2D2 电源集线器负责主机通信与供电,Paxini 通信板则单独采集触觉阵列。

这种分层使电机控制、触觉采集和主机接口彼此独立。它不会像高度集成的定制芯片那样缩小到极限体积,但对研究平台更实用:某一层损坏时容易定位,传感器升级也不必重做整个驱动电子系统。

6. 控制接口保持 16 维状态,硬件只收 13 个命令

公开代码明确区分“完整关节空间”和“硬件电机空间”。被动 DIP 位于完整关节向量的第 5、9、13 个索引,分别对应食指、中指和无名指的 PIP 电机位置 4、7、10。这个映射避免了在调用层手工拼接关节顺序。

# midas_hand_api/midas_hand_api/config.py:24-31
DEFAULT_PASSIVE_JOINT_INDICES = (5, 9, 13)
DEFAULT_PIP_MOTOR_INDICES = (4, 7, 10)

# Full 16-DOF order:
# thumb(0-3), index(4, DIP@5, 6, 7),
# middle(8, DIP@9, 10, 11), ring(12, DIP@13, 14, 15)

这让仿真、重定向和硬件能够共享同一套状态定义。上位机看到的是完整的 16 维构型,控制板则从其中取出 13 个主动关节值,把被动值留给连杆几何决定。

7. 重定向把指尖运动变成主动关节目标

MediaPipe 或 MANUS 数据手套先给出 21 个人手关键点。重定向器把关键点转换为若干目标向量,例如不同指节之间的方向向量,再通过数值优化求主动关节角,使机器人对应向量接近人类输入。与传统逐个关节映射相比,向量目标更能保持指尖方向和相对几何。

难点在于优化器不知道被动 DIP 也在随 PIP 运动。如果只对 13 个主动关节求导,指尖雅可比会漏掉被动连杆贡献。公开实现把 DIP 和辅助连杆的雅可比列按链式法则合并回 PIP:

$$J_{\mathrm{eff}}[:,\mathrm{PIP}]\mathrel{+}=J_{\mathrm{DIP}}\frac{\partial q_{\mathrm{DIP}}}{\partial q_{\mathrm{PIP}}}+J_{\mathrm{link}}\frac{\partial q_{\mathrm{link}}}{\partial q_{\mathrm{PIP}}}$$

# midas_hand_retargeter/midas_hand_retargeter/adaptor.py:160-192
target_jacobian[..., target_index] += (
    jacobian[..., self.idx_pin2dip[coupling_index]]
    * dip_gain[coupling_index]
)
target_jacobian[..., target_index] += (
    jacobian[..., self.idx_pin2linkage[coupling_index]]
    * linkage_gain[coupling_index]
)

这一步让指尖目标函数“看见”真实四连杆运动,而不是只在仿真里冻结被动关节。它也是论文硬件构型与开源软件栈之间最实质的对应之一。

8. 从人类输入到同步数据流

完整链路先识别手部关键点,再生成目标向量,得到 13 个主动关节目标;四连杆查表补出三个被动 DIP 与辅助连杆状态,形成 16 维机器人构型,最后转换成 13 个电机命令。与此同时,触觉板以最高 83.3 赫兹输出四个手指的多轴接触数据。论文将其定位为可扩展的示范采集基础设施。

flowchart TB
    A[MediaPipe or MANUS] --> B[21 hand landmarks]
    B --> C[Fingertip and phalanx vectors]
    C --> D[Optimize 13 active joints]
    D --> E[PIP joint targets]
    E --> F[Four-bar lookup
passive DIP and linkage] F --> G[Full 16-DoF state] F --> H[Fold passive Jacobians
into active PIP] G --> I[13 Dynamixel commands] J[Paxini four-finger arrays] --> K[Synchronized joint and tactile stream] I --> K

9. 仿真模型不是附件,而是控制契约

项目提供 URDF、简化接触的 MJCF 和常见仿真环境配置。URDF 描述 16 个关节和连杆几何,MJCF 则用 13 个执行器加三个闭合 PIP-DIP 约束复现同一机构。硬件侧使用查表插值,仿真侧使用约束求解,两条路径必须产生一致的关节关系,否则从仿真迁移到实物时指尖位置会系统性偏移。

这也解释了为何项目把自动回零、关节标定和触觉标定放进核心接口。3D 打印件存在装配误差,电机更换和塑料件磨损也会改变零点;每次使用前重建关节参考,比假定所有硬件长期保持同一零点更可靠。

实验结果

论文的实验重点不是训练某个操作策略,而是验证硬件是否具备成为研究平台的条件:关节能否低阻退让,拇指能否覆盖常用对掌空间,结构能承受多大负载,长时间运行是否稳定,以及四指构型能否完成常见抓取。这个实验设计与其“硬件就绪度”主张是对应的。

结构与成本对比

灵巧手总自由度驱动方式触觉重量参考成本
MIDAS Hand16直驱刚性连杆283 个三轴单元约 700 克低于 3000 美元
LEAP Hand16直驱无约 1000 克约 2000 美元
RUKA v220腱驱动无未给出约 1500 美元
ORCA17腱驱动二值触觉约 1200 克约 2500 美元
Allegro v5 Plus16直驱气动式1240 克约 11000 美元
Sharpa Wave22直驱动态触觉阵列约 1300 克约 50000 美元
Wuji Hand20直驱无低于 600 克约 16000 美元

表格显示 MIDAS Hand 并非自由度最高的方案,也不是最轻的方案。它的差异在于把四指拟人尺度、密集三轴触觉、直驱可维护性和低于 3000 美元的物料清单放在同一配置中。若只比较自由度,MIDAS 与 LEAP 和 Allegro 相同;若再加入触觉与成本,目标组合才变得稀缺。

背驱力矩与拇指对掌

关节Sharpa WaveWuji HandMIDAS Hand
食指 MCP0.35 牛·米不可背驱0.02 牛·米
食指 PIP0.11 牛·米不可背驱0.02 牛·米
食指 DIP0.03 牛·米不可背驱被动关节
拇指 CMC0.62 牛·米不可背驱0.02 牛·米
拇指 MP0.32 牛·米不可背驱0.02 牛·米
拇指 IP0.07 牛·米不可背驱0.02 牛·米

在同一测试协议下,MIDAS Hand 的主动关节几乎保持统一阻抗。Sharpa Wave 的近端关节阻力高得多,论文因此给出约 3.5 至 30 倍的差距。该结果支持“低阻抗直驱”的核心主张,但仍是关闭主动力矩后的机械测量,不能直接等同于带力控算法时的接触柔顺性。

拇指对掌用交集面积比例衡量。对每根相对手指 $f$,定义其工作空间为 $W_f$,拇指工作空间为 $W_{\mathrm{thumb}}$,则:

$$\eta_f=\frac{|W_{\mathrm{thumb}}\cap W_f|}{|W_f|}$$

对掌对象MIDAS Hand 覆盖率论文引用的人手参考值
食指49.52%33.65%
中指40.03%27.10%
无名指24.54%23.50%

MIDAS Hand 的绝对覆盖率高于引用的人手值,但论文没有把绝对值当作一比一人手复刻。关键观察是从食指、中指到无名指依次下降的分布趋势一致。机械手保持了人的桡侧到尺侧组织方式,意味着精细对掌并非只靠任意一组可达点凑出来。

食指矢状面工作空间则用另一条比例衡量。设 $W_{\mathrm{robot}}$ 与 $W_{\mathrm{human}}$ 分别为机械手和人手可达区域,则:

$$\eta_{\mathrm{index}}=\frac{|W_{\mathrm{robot}}\cap W_{\mathrm{human}}|}{|W_{\mathrm{human}}|}=0.801$$

80.1% 是覆盖率,不是机械手工作空间只占人手的 80.1%。论文指出机械手的部分可达区域还超出人手参考区域,这与机械食指相对人口平均指长更长有关。

负载、可靠性与重复性

指尖集中负载实验中,食指提起 1.2 千克后电机很快过热。论文据此判断,持续高负载的主要限制是执行器热约束,而不是打印结构立即断裂。整手抓取实验则成功提起约 9.5 千克负载,说明在该抓取构型下机械结构承受的载荷已经超过 9.5 千克。两个数字并不矛盾:一个是由单指和单电机承受的持续集中载荷,另一个由多指共同分担。

连续抓取测试运行两小时,共完成 5143 次循环。最大执行器温度先快速上升,随后稳定在约 49 摄氏度;四根手指的末端位置误差全程有界,没有明显随循环次数上升的趋势。这说明短时实验中热平衡和机械定位都没有持续恶化,但没有覆盖更换零件、长期磨损或更高环境温度的工况。

更高精度重复性实验用机械千分表记录了 100 次闭合动作的终点。第 $i$ 次端点误差写成:

$$e_i=\left\lVert p_i-p_i^{\mathrm{ref}}\right\rVert_2$$

对样本采用无偏标准差:

$$s=\sqrt{\frac{\sum_{i=1}^{N}(e_i-\bar e)^2}{N-1}}$$

结果为 0.051 毫米的分布范围、0.207 毫米平均值和 0.016 毫米标准差。这里的“范围”描述 100 次结果的散布宽度,标准差描述相对平均值的波动。对 3D 打印、连杆传动的手来说,这组数据更重要的是没有明显漂移,而不应被解读为整手绝对定位精度达到 0.016 毫米。

抓取分类与遥操作

在 GRASP 分类体系的 33 类抓取中,MIDAS Hand 成功复现 32 类。成功率写为:

$$G_{\mathrm{GRASP}}=\frac{32}{33}\times100\%=96.97\%$$

唯一失败的类型需要小指提供尺侧支撑。这个结果既有说服力也很清楚:四指设计足以覆盖绝大多数分类,但缺失小指不是可以忽略的统计噪声,而是有明确机构原因的边界。对于依赖尺侧夹持或小指稳定物体的任务,MIDAS Hand 需要改变抓取规划或增加附件。

遥操作演示同时使用视觉手部跟踪和 MANUS 数据手套。视觉输入部署简单,但会受到遮挡和相机视角影响;手套能提供更稳定的手指姿态,若配合触觉反馈手套,还能把机器人触觉阵列的力信息映射回操作者指尖。论文展示的是实时映射能力,而非大规模示范数据或学习策略效果。

视觉手部跟踪与数据手套驱动 MIDAS Hand 的遥操作

图 6:两种遥操作输入。视觉跟踪与 MANUS 手套都经过重定向层转换为 MIDAS Hand 的主动关节命令。

开源生态的工程意义

论文不只发布 CAD 和装配说明,还同时给出 STEP、物料清单、PCB、Onshape 模型、控制与触觉 Python API、URDF、MJCF、重定向和遥操作仓库。这个组合把“能复制一台样机”推进到“能重新建立完整实验链路”。

MIDAS Hand 硬件、软件、仿真与数据采集生态

图 5:MIDAS Hand 的开放生态。硬件设计、遥操作输入、重定向、硬件接口、仿真和数据采集被组织为同一套栈。

从复现角度看,最关键的不是文件数量,而是接口是否闭合。若只有 CAD,其他实验室可以打印零件却未必能控制;若只有控制库,传感器和仿真又不匹配。MIDAS 将 16 维关节状态、13 个电机命令和触觉流固定为共同契约,才使硬件、仿真和人类动作输入能够对接。

局限性

第一项限制由作者明确指出:四指结构缺少小指,会降低依赖尺侧支撑的抓取能力,也可能影响某些手内操作稳定性。32/33 的分类结果说明这个限制不是致命的,但它已经通过唯一失败的抓取类型具体显现。

第二项限制同样来自作者:论文验证的是硬件层面的工作空间、负载、可靠性和遥操作,不是任务级自主操作。它能证明平台具备实验条件,却不能证明某个视觉触觉策略在这只手上取得了高水平操作性能。

第三项是触觉尚未进入闭环控制。论文展示了多轴接触读数,但没有比较有触觉和无触觉控制器在滑动检测、抓取稳定或策略学习上的差异。因此 283 个触觉单元目前是可靠的感知基础,而不是已经验证的闭环收益。

从实验覆盖看,论文报告的是单台原型上的结果,没有给出多台制造一致性、长期磨损曲线或不同环境温度下的统计。可复制性由开放材料和低于三小时的装配流程支持,但真正的跨实验室重复生产质量仍需要更多单位验证。这是基于论文证据边界作出的判断,不是作者已经完成的实验。

总结与展望

MIDAS Hand 的贡献集中在一个常被忽略的研究基础设施问题上:如果灵巧手本身难以获得、难以维修、缺少触觉或与人的尺度相差太远,操作算法就很难从少数实验室扩展到更广泛的数据采集和真实实验。该论文用直驱、四连杆欠驱动、模块化打印结构和商用触觉阵列组合出一个成本可控、可以维护的完整平台。

实验结果没有声称机械手已经解决灵巧操作。相反,它给出了一组可检验的硬件就绪指标:约 0.02 牛·米的低背驱力矩、80.1% 的人食指工作空间覆盖、符合人手的拇指对掌趋势、超过 9.5 千克的整手抓取负载、超过 5000 次连续循环、0.016 毫米的闭合重复性标准差,以及 32/33 的抓取分类覆盖。

下一步最有价值的工作不是继续堆叠硬件参数,而是使用这套开源接口回答闭环问题:触觉能否降低抓取失败率,低阻抗直驱能否改善高接触任务的鲁棒性,人类示范经过重定向后能否训练出可迁移策略,以及多台复制品能否保持一致的标定和数据格式。MIDAS Hand 已经把这些实验所需的硬件与软件接口放在同一张桌上。

金句:灵巧手真正稀缺的不是再多一个关节,而是一套让关节、触觉和人类示范能够被重复实验的共同接口。

相关论文

EgoScale:用多样化第一视角人类数据扩展灵巧操作

EgoScale:用多样化第一视角人类数据扩展灵巧操作

提出基于大规模第一视角人类视频的 VLA 训练框架 EgoScale:在 20,854 小时动作标注人类数据上预训练,发现数据规模与验证损失呈对数线性关系;再通过少量对齐的人机协同中训练接地到机器人控制。22 自由度灵巧手策略相对无预训练基线平均成功率提升 54%,并能迁移到低自由度手。

Ruijie Zheng, Dantong Niu, Yuqi Xie · 302次阅读 · 2026年2月18日
灵巧操作视觉语言动作模型
2026年2月18日
面向稳健机器人部署的自适应视觉语言动作模型

面向稳健机器人部署的自适应视觉语言动作模型

提出部署后训练方法,把硬件偏移下的自身轨迹压缩为上下文令牌,经轻量编码器和自适应层归一化迭代校正视觉语言动作策略,在四类操作任务中恢复逾 80% 的基础性能。

Hongxin Zhang, Chunru Lin, Tsun-Hsuan Wang · 271次阅读 · 2026年9月24日
视觉语言动作模型Test-Time Adaptation
2026年9月24日
DONIC:从人类演示学双手灵巧跟踪

DONIC:从人类演示学双手灵巧跟踪

DONIC 是首个跨操作类别与人类动作数据源联合训练的通用双手跟踪器;配套 BiHOI 多视角数据集含 1575 段序列、229 个物体,强调持续双手接触。方法以物体为中心的逐手奖励与 Clip-Centered Advantages 支撑 PPO 加行为克隆的闭环,单个检查点在未见轨迹与未见物体上分别取得 86.79% 与 57.32% 的成功率,无需任何微调。

Mingze Sun, Ziang Cao, Yuan Fei · 335次阅读 · 2026年10月21日
灵巧操作Bimanual Manipulation
2026年10月21日
T-WLA:慢视觉,快触觉

T-WLA:慢视觉,快触觉

T-WLA 以共享历史视觉记忆连接慢速视觉与高频触觉残差修正,在 EgoTouch、Tachin 与四项真机接触操作上提升精度和成功率。

Kaichen Zhou, Yuzhen Chen, Hannah Yao · 421次阅读 · 2026年10月20日
触觉Visuotactile Manipulation
2026年10月20日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。