论文

MABEL：面向遥操作与学习的开源拟人移动双臂平台

面向机器人学习的任务正在从桌面走向移动与双手操作，但兼具移动、可调高度、主动感知和灵巧操作的平台通常价格高昂。作者提出 MABEL，一套 56 自由度、约 8,056 美元零件成本的开源拟人移动双臂机器人。它集成两条 7 自由度手臂、17 自由度灵巧手、俯仰躯干、升降柱、3 自由度颈部和全向底盘，指尖可达地面至 2.23 米。双臂与躯干可反驱，支持柔顺接触；头颈与躯干运动把建模相机覆盖范围扩大到躯干固定相机的约三倍。系统仅凭 Apple Vision Pro 的头手追踪即可完成全身遥操作，在机器人热点连接下实现平均 137 毫秒的端到端立体视频时延。遥操作、仿真和 ACT 策略共享同一条全身控制链路，打通了从示范采集到策略部署的完整模仿学习流程。

Robot Platform移动操作

Qilong Cheng, Rooholla Khorrambakht, Mohamed Yassine Kabouri · 86次阅读 · 2026年11月2日

立体视觉策略：用双目感知提升机器人操作

StereoPolicy 直接利用同步双目图像学习任务条件化的空间表示，通过左右跨注意力融合二维预训练特征，避免显式深度图与点云重建。该方法可接入扩散策略、π0.5 和 GR00T-N1.5，在仿真与真实桌面及双臂移动操作中提升成功率，并给出双目基线与工作距离的实用配置比例。

立体视觉机器人操控

Evans Han, Yunfan Jiang, Yingke Wang · 148次阅读 · 2026年5月11日

METATRON：面向人形机器人的可提示全身执行层

METATRON 将生成式全身策略与可编程技能层结合，用稀疏身体目标、速度、风格和场景提示驱动单一冻结的 Unitree G1 策略，无需任务级重训。

人形机器人全身控制

Chen Tessler, Yifeng Jiang, Alec Otto · 451次阅读 · 2026年10月27日

EgoScale：用多样化第一视角人类数据扩展灵巧操作

提出基于大规模第一视角人类视频的 VLA 训练框架 EgoScale：在 20,854 小时动作标注人类数据上预训练，发现数据规模与验证损失呈对数线性关系；再通过少量对齐的人机协同中训练接地到机器人控制。22 自由度灵巧手策略相对无预训练基线平均成功率提升 54%，并能迁移到低自由度手。

灵巧操作视觉语言动作模型

Ruijie Zheng, Dantong Niu, Yuqi Xie · 198次阅读 · 2026年2月18日

PACE：面向分块插入策略的时序角色触觉条件化

接触密集的精密插入要求机器人把视觉对准与触觉调整结合起来。现有视觉-触觉分块策略通常把触觉反馈压进单一生成通路，持续接触状态、突变接触事件以及动作将造成的未来接触后果只能被隐式混合建模。PACE 将同一条触觉流拆成三种时序角色：用指数平滑的持续接触状态逐层调制动作块生成；用短窗触觉差分构成事件线索，通过门控残差只修正动作块最前面的部分；训练期再从解码器隐状态预测未来触觉增量，以辅助表示学习。该结构保留动作块的时间连续性，同时让慢变的接触阶段和快变的碰撞、卡滞获得不同处理路径。五个真实插入任务平均成功率为 90.7%，比纯视觉和单通路触觉融合基线高 44 个百分点以上；在 ManipulationNet 六种几何与间隙配置上平均成功率为 88.7%，0.1 毫米工业级间隙下仍保持较高成功率。消融显示 Phase、Event 与 Pred. 互补，跨信号实验覆盖六维触觉力、六轴力/力矩和关节电流，跨架构实验表明该原则可用于扩散策略。

触觉机器人操控

Zhiyuan Chen, Shixiong Xu, Shuai Chen · 286次阅读 · 2026年10月12日

从视频到视觉：从人体动作学习可泛化的人形机器人搬运

现有视频驱动的人形机器人模仿学习通常要在运行时持续生成参考轨迹，策略因此依赖动捕室中的全局位置，物体一旦偏离演示位置，成功率便快速下降。本文提出三阶段教师—助手—学生训练框架 MOVER：先用 GENMO 从 100 段视频恢复人体运动，再由 GMR 重定向到 29 自由度天工人形机器人，并通过物体几何、尺度与位姿增强得到 4000 条参考轨迹；随后依次训练严格跟踪的教师、弱化自身体位置跟踪的助手，以及去除本体位置观测的 DAgger-PPO 学生。部署阶段由头戴 RGB-D 相机和物体标记估计相对位姿，QuatNet 则从物体相对位姿、关节状态与目标位置回归参考朝向。方法在仿真中比较多种物体摆放和形状配置，并在无动捕环境中完成真机搬运，但训练数据规模、视觉遮挡和目标定位误差仍限制泛化。

人形机器人Object Carrying

Ziluo Ding · 283次阅读 · 2026年10月10日

DONIC：从人类演示学双手灵巧跟踪

DONIC 是首个跨操作类别与人类动作数据源联合训练的通用双手跟踪器；配套 BiHOI 多视角数据集含 1575 段序列、229 个物体，强调持续双手接触。方法以物体为中心的逐手奖励与 Clip-Centered Advantages 支撑 PPO 加行为克隆的闭环，单个检查点在未见轨迹与未见物体上分别取得 86.79% 与 57.32% 的成功率，无需任何微调。

灵巧操作Bimanual Manipulation

Mingze Sun, Ziang Cao, Yuan Fei · 241次阅读 · 2026年10月21日

SimpleVLN：不改架构释放原生多模态大模型的视觉语言导航能力

视觉语言导航（VLN）要求具身智能体把自然语言指令落到第一视角观测上并完成长程决策。现有方法大多靠任务专用结构补能力——全景拼接、3D 几何编码器、双系统分层决策——因此很难判断成绩里有多少来自 MLLM 本身。SimpleVLN 把问题反过来问：在引入任何任务专用模块之前，原生 MLLM 的导航潜力是否已经被榨干？它的回答分三层。表述层：每次决策都重新构造一轮独立输入，即指令 + 当前观测 + 固定预算的全局-局部历史（默认全局 8 帧均匀采样、局部 1 帧），不再累积成越来越长的多轮对话；输出侧用动作块，一次推理给出多个基元动作（前进 0.25 m、左右转 15 度、停止）依次执行。数据层：R2R、RxR、ScaleVLN 的专家演示转成决策级监督样本，基于偏离度的 DAgger 在策略自己走到的状态上收集纠偏轨迹，RL 任务则在训练场景里自动合成新的起点-终点与指令。优化层：IL 到 DAgger 再到 RL 三段递进，RL 只用二值成功奖励（停在目标 3 m 内记 1 分），主结果用 DAPO 训 40 步。只用单目 RGB、不改一行网络结构，Qwen3.5-9B 版在 R2R-CE 与 RxR-CE 的 val-unseen 上分别拿到 76.7% 与 80.1% 成功率，超过依赖全景、深度或里程计的现有方法；单次动作块决策耗时 293 ms。消融显示单轮输入把成功率从 35.7% 抬到 53.6%，DAgger 再贡献 7.5 与 8.1 个点。评测代码与八个权重已开源，并在 Daystar 四足机器人（Jetson Thor 机载）上完成真实环境验证。

视觉语言导航具身智能

Lingyi Hong, Weiren Cai, Jiayu Chen · 315次阅读 · 2026年10月16日

感知人形跑酷：通过动作匹配串联动态人类技能

尽管人形机器人的运动控制近来已在多种地形上实现稳定行走，如何获得高动态人类动作那般的敏捷性与适应性，仍是一个开放问题。尤其是在复杂环境中的敏捷跑酷，不仅要求底层控制的鲁棒性，还要求类人的动作表现力、长时程的技能组合，以及由感知驱动的决策能力。本文提出感知人形跑酷框架 PHP（Perceptive Humanoid Parkour）：一个模块化系统，使人形机器人能够在具有挑战性的障碍场地上自主完成长时程、基于视觉的跑酷。方法首先把动作匹配（motion matching）表述为特征空间中的最近邻检索，用它把重定向后的原子人类技能组合成长时程运动学轨迹；这一框架让复杂技能链既能灵活组合、又能平滑过渡，同时保留人类动态动作的优雅与流畅。随后，我们为这些合成动作训练基于动作跟踪的强化学习（RL）专家策略，并用 DAgger 与 RL 相结合的方式把它们蒸馏成单个基于深度图的多技能学生策略。关键在于，感知与技能组合的结合带来了自主的、随场景而变的决策能力：仅凭板载深度传感与一条二维速度指令，机器人就能自行判断应当跨过、爬上、撑越还是翻下几何形状与高度各不相同的障碍。我们在 Unitree G1 人形机器人上以大量真机实验验证该框架，展示了诸如攀爬最高 1.25 m（相当于机器人身高 96%）障碍这类高动态跑酷技能，以及在障碍被实时扰动时闭环适应的长时程多障碍穿越。

人形机器人跑酷

Zhen Wu, Xiaoyu Huang, Lujie Yang · 256次阅读 · 2026年2月17日

PriMoRetarget：通过优先级运动重定向实现人形机器人动作迁移

运动重定向是把人类动捕数据迁移到人形机器人的关键预处理步骤。现有方法多将重定向写成加权多目标优化，目标冲突时只能靠手工调权妥协，难以保证脚部落点、人-物接触等关键特性不被姿态目标牺牲。本文提出 PriMoRetarget，用显式优先级层次取代相对权重：低优先级目标的梯度更新被投影到高优先级目标雅可比的零空间中，使接触与脚步约束严格优先于姿态相似度。方法包含逐帧分块投影（复杂度从 O(T^3 m^3) 降至 O(T m^3)）、自由目标机制与加权和热身三个设计。在 LAFAN1、OMOMO、Inter-X 与 35 分钟双人协作数据上，接触保持率全面领先 PHC、GMR、OmniRetarget（OMOMO 96.9%），跟踪策略成功率在 LAFAN1 与 OMOMO 达 100%，并在 Unitree G1 真机完成搬箱部署。

人形机器人运动重定向

Nicholas Ioannidis, Dun Yang, Max Smith · 295次阅读 · 2026年10月8日

Juno：为视觉-语言-动作模型驯服预测性潜变量

Juno 把同一个动作条件 JEPA（LeWM，ViT-Tiny 约 15M 参数）用在三个位置：控制对齐的表征骨干、策略学习期的预测教师、部署期的可适配动力学模型。预训练用 Dynamic CLS 损失把冻结 patch 监督者的运动加权 patch 变化搬进紧凑的 CLS 状态；策略学习用 patch 级融合加 MoT 解耦推理分支，把 K 个未来 CLS 状态一对一蒸馏进隐序列，并与流匹配动作损失在同一条隐序列上汇合；部署期两阶段测试时适配先用全部转移（含失败）全参数更新世界模型，再冻结适配后的教师、只在验证成功的执行上以 LoRA 重对齐策略。SimplerEnv 平均成功率 68.5%（最强基线 Qwen3GR00T 为 60.9%，适配后 72.7%），RoboCasa-GR1 24 任务 59.6%（赢下 21 个），真机冻结策略在累积偏移下保持 75/70/70 而基线归零。

视觉语言动作模型世界模型

Yuchen Zhu, Chenyi Xu, Yulin Zhang · 248次阅读 · 2026年10月7日

LoopWAM：从部署回放中闭环改进的通才机器人策略

只堆专家示范，通才机器人策略并不会因为「上了真机」就变强：部署回放里既有成功，也有次优动作和彻底失败，逐个动作照抄会把坏行为一起学进去，而把失败样本直接丢掉，又丢掉了物理交互及其后果的证据。LoopWAM 是一个闭环的世界动作模型（world-action model），它直接从这份「全质量谱系」的回放里学习，回放既可以来自它自己，也可以来自别的已部署策略（X-VLA、π0.5）。方法上有三块互相咬合的设计：源相关噪声采样把行为学习与动作条件世界建模统一进同一个联合去噪目标——示范数据只对视频加噪、回放数据只对动作加噪，两条流在每一层的联合注意力里交互，学到的「后果」因此能直接参与动作生成；质量引导把质量分数写进指令后缀 Quality: q，部署时固定取最高档，使同一个模型既能被引导也能被评估；质量加权监督用 λ(q) 调节动作项的模仿强度（q=1,2 为 0.0，q=3 为 0.3，q=4 为 0.6，q=5 为 1.0），视频监督则在全质量段完整保留。模型由 Wan2.2-TI2V-5B 初始化，视频 DiT 30 层 3072 维、动作 DiT 30 层 1024 维，flow matching 训练。结果：RoboChallenge Table30-V2 上三轮「部署—采集—再训练」把成功率从 23.67% 拉到 43.33%（+19.7 个百分点），总分 36.10→56.80；RoboTwin 2.0 平均成功率 94.5%（用 LoopWAM、X-VLA、π0.5 三个策略共 22,500 条回放训练）；RoboCasa365 总成功率 14.9%→49.5%，三项基准在对比方法中都是最好，且没有做额外的具身预训练。最难的叠衣服任务上，单任务后训练之后再跑两轮部署驱动改进，成功率从 13.20% 升到 55.56%。消融显示：完全不做质量引导只有 72.3%，粗粒度标注加上质量加权动作监督才到 94.5%。项目页 https://loop-wam.github.io/

世界动作模型自改进

Wenxuan Guo, Yingping Liang, Zhaoguo Wang · 394次阅读 · 2026年10月13日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。