Skip to content
SimpleVLN:不改架构释放原生多模态大模型的视觉语言导航能力

SimpleVLN:不改架构释放原生多模态大模型的视觉语言导航能力

视觉语言导航(VLN)要求具身智能体把自然语言指令落到第一视角观测上并完成长程决策。现有方法大多靠任务专用结构补能力——全景拼接、3D 几何编码器、双系统分层决策——因此很难判断成绩里有多少来自 MLLM 本身。SimpleVLN 把问题反过来问:在引入任何任务专用模块之前,原生 MLLM 的导航潜力是否已经被榨干? 它的回答分三层。表述层:每次决策都重新构造一轮独立输入,即指令 + 当前观测 + 固定预算的全局-局部历史(默认全局 8 帧均匀采样、局部 1 帧),不再累积成越来越长的多轮对话;输出侧用动作块,一次推理给出多个基元动作(前进 0.25 m、左右转 15 度、停止)依次执行。数据层:R2R、RxR、ScaleVLN 的专家演示转成决策级监督样本,基于偏离度的 DAgger 在策略自己走到的状态上收集纠偏轨迹,RL 任务则在训练场景里自动合成新的起点-终点与指令。优化层:IL 到 DAgger 再到 RL 三段递进,RL 只用二值成功奖励(停在目标 3 m 内记 1 分),主结果用 DAPO 训 40 步。 只用单目 RGB、不改一行网络结构,Qwen3.5-9B 版在 R2R-CE 与 RxR-CE 的 val-unseen 上分别拿到 76.7% 与 80.1% 成功率,超过依赖全景、深度或里程计的现有方法;单次动作块决策耗时 293 ms。消融显示单轮输入把成功率从 35.7% 抬到 53.6%,DAgger 再贡献 7.5 与 8.1 个点。评测代码与八个权重已开源,并在 Daystar 四足机器人(Jetson Thor 机载)上完成真实环境验证。

视觉语言导航具身智能
Lingyi Hong, Weiren Cai, Jiayu Chen · 315次阅读 · 2026年10月16日
感知人形跑酷:通过动作匹配串联动态人类技能

感知人形跑酷:通过动作匹配串联动态人类技能

尽管人形机器人的运动控制近来已在多种地形上实现稳定行走,如何获得高动态人类动作那般的敏捷性与适应性,仍是一个开放问题。尤其是在复杂环境中的敏捷跑酷,不仅要求底层控制的鲁棒性,还要求类人的动作表现力、长时程的技能组合,以及由感知驱动的决策能力。本文提出感知人形跑酷框架 PHP(Perceptive Humanoid Parkour):一个模块化系统,使人形机器人能够在具有挑战性的障碍场地上自主完成长时程、基于视觉的跑酷。方法首先把动作匹配(motion matching)表述为特征空间中的最近邻检索,用它把重定向后的原子人类技能组合成长时程运动学轨迹;这一框架让复杂技能链既能灵活组合、又能平滑过渡,同时保留人类动态动作的优雅与流畅。随后,我们为这些合成动作训练基于动作跟踪的强化学习(RL)专家策略,并用 DAgger 与 RL 相结合的方式把它们蒸馏成单个基于深度图的多技能学生策略。关键在于,感知与技能组合的结合带来了自主的、随场景而变的决策能力:仅凭板载深度传感与一条二维速度指令,机器人就能自行判断应当跨过、爬上、撑越还是翻下几何形状与高度各不相同的障碍。我们在 Unitree G1 人形机器人上以大量真机实验验证该框架,展示了诸如攀爬最高 1.25 m(相当于机器人身高 96%)障碍这类高动态跑酷技能,以及在障碍被实时扰动时闭环适应的长时程多障碍穿越。

人形机器人跑酷
Zhen Wu, Xiaoyu Huang, Lujie Yang · 256次阅读 · 2026年2月17日
盲装配:只靠关节编码器完成轴孔插入、齿轮啮合与螺母攻丝

盲装配:只靠关节编码器完成轴孔插入、齿轮啮合与螺母攻丝

精密装配通常被当成视觉问题:孔在哪、零件在指间怎么转、间隙多大,都得由相机或力/扭矩传感器告诉策略。MIT 的这篇工作把外部传感全部掐断——策略每步只观测最近 0.6 秒的关节位置、关节速度、由正运动学算出的夹爪位姿与速度,以及自己上一步的动作;没有相机、没有力/扭矩传感器、没有触觉,也不知道孔位、零件尺寸与间隙大小。作者在三个接触密集的精密任务上检验本体感知究竟够不够:轴孔插入(训练时每侧间隙 1.0–1.5 mm,5 秒限时)、齿轮啮合(每个锚齿齿侧间隙 0.2–0.6 mm,10 秒)、螺母攻丝(M24–M42,螺纹侧面间隙 0.05–0.2 mm,15 秒)。训练完全在仿真里完成:PPO 跑 12,288 个并行 MuJoCo 世界,随机化零件形状、尺寸、间隙、孔位与抓取偏置,并用特权仿真状态给出辅助接触监督——去掉这项监督,三个任务分别需要 2.7 / 3.8 / 5.1 倍的环境步数。时序卷积把 30 步历史压成 32 维 latent,线性探针能从 latent 解出七种接触模式(准确率 61–73%,只看当前观测是 41–64%,随机基线 14%),把不同模式的 latent 互换会让动作整体改道(变化量是同模式互换的 1.3–3.0 倍)——说明策略是在做反应式接触搜索,而不是背一套固定螺旋图案;同样的起点,它入孔前中位只走 37 mm,乐观的脚本螺旋要走 95 mm。轴孔策略 zero-shot 迁到 Flexiv Rizon 4S 真机(50 Hz,无真实数据、无微调),237 次试验成功 173 次(73%),其中三个销完全在训练分布之外;对未见零件,盲策略也明显比参数匹配的 RGB 视觉策略稳(螺母尺寸外推 98.4% 对 1.6%,销的新形状 93.8–97.1% 对 40.1–62.7%)。为让这种规模的训练跑得起来,作者还开源了 mjfit:从任意平面轮廓程序化生成「间隙精确保持」的凸棱柱装配体,在 20 µm 级间隙上比 CoACD/V-HACD 凸分解与 MuJoCo 自带 SDF 碰撞既准又快一个数量级。结论很直接:每台机器人本来就自带高分辨率接触传感器——它自己的关节。

Peg-in-Hole仿真到现实
Antonia Bronars, Younghyo Park, Kushal Kedia · 374次阅读 · 2026年10月16日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。