Skip to content
←返回论文库

PAPER DEEP DIVE

视觉语言导航具身智能智能体运行时

HarnessVLN:面向免训练具身导航的智能体执行框架

具身导航要求智能体把语言指令或目标物体落到空间观测,并将规划转换成可执行动作。HarnessVLN 提出免训练、零样本的智能体执行框架,用共享工具接口协调感知、分层事件记忆、持续时空图与导航执行,并在派发前核验证据支持、几何可行性和子目标一致性。结构化执行反馈会更新任务进度、空间证据与失败记录,进而约束后续规划、回退和停止。在 R2R、RxR、HM3D-v2 与 HM3D-OVON 上,成功率分别为 60.8%、53.9%、76.0% 和 59.3%,均高于论文列出的既往免训练方法;AgiBot A3U 人形机器人上的三个真实场景进一步展示了跨任务部署可行性。项目页为 https://agibot-harnessvln.netlify.app/。

论文信息

作者:Yang Chen、Lirong Che、Zhenyu Huang、Wenbo Fu、Chuang Wang、Xu Cao、Daqi Liu、Yuzhe Yang、Jian Su、Lan-Zhe Guo。

机构:南京大学、AGIBOT、清华大学。

论文:arXiv:2609.15195v1,2026 年 9 月 14 日提交,许可协议为 CC BY 4.0。

项目页:agibot-harnessvln.netlify.app。

代码状态:GitHub 仓库当前只有说明文件,作者写明论文投稿后才会开源。因此本文无法核验源码级实现,只能依据论文正文与附录分析。

一句话总结:HarnessVLN 不训练新的导航策略,而是在多模态大模型与机器人执行器之间加入一层可验证的运行时框架,让视觉证据、任务进度、空间图和失败记录共同约束“下一步做什么”以及“现在能不能停”。

问题不在模型会不会说,而在它能不能持续做对

具身导航同时包含两类经常被混在一起的能力。第一类是语义理解:机器人要把“穿过房间,在讲台前的拱门处等待”拆成可执行的路线片段,或者把“找到椅子”转换成对目标类别的视觉搜索。第二类是物理落地:它必须知道眼前这个候选目标是否真的可到达,走过的位置是否已经偏离指令,执行失败后应该回退还是换路,以及什么时候停止才不算自作主张。

训练式导航模型通常从大量带动作的轨迹中学习上述连接。它们可以在训练分布内取得很高成绩,但换一种任务定义、换一类传感器或进入没有覆盖过的环境时,往往还需要补充数据并重新适配。多模态大模型提供了另一条路线:利用预训练获得的语义知识做零样本规划,不针对导航任务微调。问题是大模型擅长提出听起来合理的计划,却不一定知道这个计划在三维空间里是否成立。

论文把这种错位概括得很直接:识别出目标不代表能到达目标,发出一个动作也不代表子目标已经完成。一个模型可能在第一帧看见“冰箱旁的垃圾桶”,随后绕过墙角,却仍把旧画面中的垃圾桶当成当前证据;它也可能因为目标检测框与某个物体相似,就在距离目标数米时请求停止。上下文越长,旧观测、失败动作和已经完成的子目标越容易互相污染。

因此,HarnessVLN 的切入点不是再训练一个更大的视觉语言动作模型,而是建立一个导航运行时。这个运行时把大模型放在规划位置,把感知、记忆、接地、导航、回退和终止都包装成工具,并在工具调用前后维护一致状态。它试图回答的不是“哪个模型更聪明”,而是“怎样让一个足够聪明的模型在长程物理任务中少犯结构性错误”。

统一状态:同一套框架容纳两类导航任务

在决策时刻 $t$,框架维护一个包含任务、观测、位姿、进度、事件记忆和空间图的联合状态:

$$\mathcal{S}_{t}=\bigl(x,\,\omega_{t},\,p_{t},\,z_{t},\,\mathcal{M}_{t},\,\mathcal{G}_{t}\bigr)$$

其中 $x$ 是任务说明,即视觉语言指令或目标物体类别;$\omega_{t}$ 是当前与位姿对齐的彩色深度观测和局部几何地图;$p_{t}$ 是机器人位姿;$z_{t}$ 是任务进度;$\mathcal{M}_{t}$ 保存以任务为中心的事件;$\mathcal{G}_{t}$ 保存以环境为中心的空间关系与证据。这里的“统一”并不意味着两种任务完全同构,而是让二者共享同一决策循环和工具契约。

对于指令跟随,$z_{t}$ 记录当前路线片段、已经满足的运动约束和观察到的地标;对于目标物体导航,$z_{t}$ 记录探索区域、候选目标假设及其验证状态。任务差异被限制在进度表示和完成判据中,底层的检索、验证、执行与反馈流程保持不变。

这一点是论文最重要的系统设计。过去很多零样本导航系统也为每类任务拼接感知器、语言模型和控制器,但它们往往把任务进度藏在一段聊天历史里。HarnessVLN 把进度变成显式子目标状态,把环境证据变成带来源的空间图,再把工具输出变成结构化反馈。大模型不再拥有一个不可审计的“记忆黑箱”,而是读取由框架筛选后的状态摘要。

工具接口:把异构能力压进可检查的协议

框架公开七类核心工具。观测工具获取当前彩色深度画面和位姿,全景观测工具按预设朝向采集四个方向;记忆检索工具从事件记忆和空间图中取回与当前子目标有关的证据;目标接地工具把语义子目标落到某个观察方向和图像区域;深度查询工具估计该区域的几何距离与不确定性;导航工具调用执行器前往已验证目标;回退工具返回先前访问过的位置;终止工具则在真正停止前核验任务是否完成。

工具的价值不只是“让模型调用函数”。框架会在派发前检查参数、证据来源、证据新旧、目标几何可达性,以及调用是否与当前活动子目标一致。工具执行后必须返回状态、测量值和失败证据,框架再据此更新事件记忆与空间图。这种输入输出契约使大模型不能直接对环境发出停止命令,也不能把一个没有证据的检测框直接送给底层控制器。

论文把导航执行器视为可替换组件,这一点对工程实现很有意义。FMM 负责平面路径规划,遇到楼梯时调用 NavDP;换成其他局部规划器理论上不会改变上层状态机。不过,所谓“可替换”仍需满足新执行器对目标坐标、到达反馈和失败类型的接口要求。论文没有给出替换实验,因此这更像协议层面的设计主张,而不是已经验证的跨执行器兼容性结论。

HarnessVLN 的智能体执行框架、事件记忆、时空图与工具闭环
原论文图 2:智能体执行框架把多模态规划、分层事件记忆和时空图接到统一工具接口上,形成“组装上下文、验证提案、执行工具、整合反馈”的闭环。

分层事件记忆:短期上下文与长期任务进度分开

事件记忆分为工作记忆、进度记忆和反思记忆。工作记忆保存当前观测、有限长度的全景历史、活动目标假设和最近的工具反馈。它不是把整条轨迹无限塞进模型,而是只保留下一次决策真正需要的短期上下文,因此上下文大小不会随回合长度线性爆炸。

进度记忆把任务表示为带唯一标识的子目标,每个子目标只有待处理、活动、完成或阻塞四种状态。任何时刻最多只有一个活动子目标;完成状态必须由与位姿对齐的观测或成功工具结果支撑。这个约束解决了一个常见问题:模型在文字上宣布“已经到达走廊”,但机器人实际上仍在另一个房间。

反思记忆保存更完整的事件级轨迹,包括不可达目标、错误接地、碰撞、缺乏进展、回退失败和被拒绝的停止请求。每条记录包含事件标识、任务上下文、位置、时间、工具反馈和支持观测。它既用于后续诊断,也为空间图中的轻量失败标注提供原始出处。

这种分层避免了两类极端。把所有信息都交给大模型会迅速挤满上下文,并让旧信息伪装成当前事实;只保留最后一帧又无法解释“为什么刚才那条路失败”。HarnessVLN 的做法是把短时决策材料、任务状态和可追溯历史分开保存,再按当前子目标进行筛选。

时空图:让空间证据带上地点、时间和失败含义

时空图的形式定义为:

$$\mathcal{G}_{t}=\bigl(\mathcal{V}^{P}_{t}\cup\mathcal{V}^{E}_{t},\mathcal{E}_{t},\mathcal{T}_{t}\bigr)$$

$\mathcal{V}^{P}_{t}$ 是地点节点,$\mathcal{V}^{E}_{t}$ 是实体节点,$\mathcal{E}_{t}$ 是类型化空间关系,$\mathcal{T}_{t}$ 保存时间戳和轻量事件标注。地点节点汇总访问过的位置、支持观测和可通行航点;空间上兼容的观测会合并到已有地点,否则创建新节点。连续地点通过双向可导航边相连,从而同时支持前进和回退。

实体节点表示目标物体或被指令引用的地标,包含语义别名、空间假设、置信度和支持视角。“从何处观察”的关系保留观察时间与视点,“包含”关系记录地点与实体的粗略关联。这样,一个目标不仅存成文本名称,还能回答它在哪看见、当时有多可信、离哪个地点近,以及后来是否被新证据推翻。

每次规划前,框架按当前子目标对地点排序:

$$s(v_{i}\mid g_{t})=R(v_{i},g_{t})+\lambda_{\mathrm{rec}}C(v_{i})+\lambda_{\mathrm{sal}}A(v_{i})-\lambda_{\mathrm{fail}}P(v_{i},g_{t})$$

其中 $R$ 衡量地点与子目标的语义相关性,$C$ 衡量新旧程度,$A$ 衡量空间显著性,$P$ 惩罚与当前子目标相关的既往失败。附录说明语义相关性使用局部逆文档频率加权余弦相似度,先取三个种子地点,再扩展一跳,最多返回五个地点。失败惩罚与活动子目标绑定并设置上限,避免一次失败永久封死某个地点。

检索结果只包含少量地点及其附近实体、航点和空间关系,形成紧凑集合 $\mathcal{R}_{t}$。这使空间图可以持续增长,但送进大模型的上下文不必跟着轨迹长度增长。与只保存一条文本摘要相比,图结构保留了证据之间的拓扑关系;与直接塞入完整占据地图相比,它又更接近语言模型可以消费的语义索引。

运行时怎样防止“看起来合理”的计划直接落地

一次决策开始时,框架先更新任务进度,再从事件记忆和时空图检索证据,并组装当前多方向视觉、待办子目标、失败反馈和可用动作。大模型据此提出语义命令,但命令只是提案。框架会检查证据是否足够新、目标是否真的对应活动子目标、候选区域能否在几何上到达,以及相邻位置是否有适用的失败记录。

通过验证后,导航执行器把语义目标转换为路径与局部动作。返回结果只允许以结构化状态进入下一轮,例如到达、碰撞、不可达或缺乏进展。若执行失败,框架不会让大模型凭印象改路,而是把失败位置、失败类型和原观测写入反思记忆;如果失败与环境结构有关,再在图中对应节点附加轻量标注。下一次决策读取的是带空间坐标的失败信息。

这个循环可以写成一个状态更新:

$$\mathcal{S}_{t+1}\leftarrow\textsc{UpdateHarnessState}(\mathcal{S}_{t},y_{t})$$

这里的 $y_{t}$ 是工具返回的结构化结果,而不是一段自然语言感想。更新函数据此修改进度、证据、失败记录和当前上下文。这个看似简单的约束把“模型是否相信动作成功”改成“工具是否报告成功,且证据是否支持子目标完成”。

flowchart TD
    A[任务说明与目标物体] --> B[组装活动子目标]
    B --> C[检索事件记忆与时空图]
    C --> D[多模态大模型提出语义命令]
    D --> E{证据与几何验证}
    E -->|不通过| R[记录拒绝原因并重新规划]
    R --> C
    E -->|通过| F[导航执行器规划与执行]
    F --> G{到达 碰撞 不可达 或停滞}
    G -->|失败| H[写入反思记忆与地点失败标注]
    H --> C
    G -->|抵达候选终点| I{语义 几何 进度三重停止校验}
    I -->|拒绝| H
    I -->|通过| J[请求环境停止]
    G -->|仍在途中| K[更新位姿 观测与进度]
    K --> C
  

停止不是一个语言判断,而是一次联合校验

在长程导航里,错误停止往往比走错一步更致命:一旦环境收到停止动作,回合立即结束,后续恢复机会消失。HarnessVLN 允许大模型提出停止请求,但最终动作必须满足:

$$F_{\mathrm{stop}}=F_{\mathrm{semantic}}\land F_{\mathrm{geometric}}\land F_{\mathrm{progress}}$$

语义项检查目标身份或指令终点,几何项检查目标是否在允许的物理距离内,进度项检查当前证据是否支持最后一段路线、引用地标和接地终点。对于目标物体导航,目标必须被视觉证据支持且位于停止半径内;对于指令跟随,当前画面必须同时支持最终路线关系和终点区域。任何一项失败,停止请求都会被记入反思记忆,并触发继续观察、目标细化、靠近或回退。

论文分别使用新深度测量和投影导航目标测量。前者取检测框锚点周围 $5\times5$ 深度块的中位数,并要求块内标准差不超过 0.5 米;深度不可用或不可靠时,回退到投影目标距离。二者的校验阈值分别是 2.5 米和 1.0 米。需要注意,这些是框架的几何核验阈值,不是基准判定成功距离;模拟器最终仍按指令跟随 3.0 米、目标物体导航 1.0 米的标准计算成功。

三重合取提高了停止所需证据门槛,也在附录案例中展示了必要性。目标物体 1297 号回合在第 216 步时,投影目标距离只有 0.40 米,但新深度显示真实距离为 4.65 米,于是停止被拒绝;第 429 步深度变为 1.53 米后才通过,最终以 0.13 米目标距离成功。这个例子说明视觉框的二维接近感不能替代深度证据。

HarnessVLN 运行时监控面板
原论文图 4:HM3D-v2 第 536 回合第 36 步的运行时面板,将当前画面、占据地图、框架状态、任务动作和待办记忆放在同一视图中。面板中的评测目标距离只是诊断信息,不是智能体输入。

仿真评测怎样覆盖两类任务

指令跟随使用连续环境版 R2R 与 RxR 的留出验证集,场景来自 Matterport3D。评价指标包含导航误差、最终 3 米内是否成功、路径加权成功率、轨迹是否曾进入成功区域,以及归一化动态时间规整。目标物体导航使用 HM3D-v2 和 HM3D-OVON 验证集,分别包含 1,000 和 3,000 个回合。前者只有固定类别,后者要求从开放词汇描述中找出目标。

模拟观测为同步的 $640\times480$ 彩色与深度图,水平视场角 $79^{\circ}$。GroundingDINO 提供开放词汇检测,SAM 生成目标掩码,FMM 做平面路径规划,NavDP 处理楼梯。主实验的指令跟随模型是 GPT-5.5,目标物体导航模型是 GPT-5.6-luna;每个实验只用一个预训练多模态模型,初始化、规划、接地、停止核验和恢复使用不同提示词,但不针对导航数据微调。

环境步预算是指令跟随 1,000 步、目标物体导航 500 步。四个方向的观测分别对应相对朝向 $0^{\circ}$、$90^{\circ}$、$180^{\circ}$ 和 $270^{\circ}$,完整全景需要十二次 $30^{\circ}$ 旋转,这些旋转也计入预算。前视历史每隔两步采样,再按最多 50 张图裁剪。地点与实体合并半径分别为 0.75 米和 1.00 米。

原论文表 2 与表 3 的关键结果:HarnessVLN 与代表性免训练方法对比。导航误差单位为米,其余为百分比。
任务与基准方法导航误差曾进入成功区域成功率路径加权成功率
R2R 留出验证集AgenticNav-GPT-5.55.1965.055.048.41
R2R 留出验证集HarnessVLN-GPT-5.54.0172.760.843.5
RxR 留出验证集HSGM7.43—41.825.1
RxR 留出验证集HarnessVLN-GPT-5.56.42—53.938.0
HM3D-v2MSGNav——74.433.4
HM3D-v2HarnessVLN——76.037.9
HM3D-OVONDRIVE-Nav——50.232.6
HM3D-OVONHarnessVLN——59.336.6

R2R 上,HarnessVLN 比同样使用 GPT-5.5 的 AgenticNav 高 5.8 个百分点成功率,导航误差从 5.19 米降到 4.01 米,曾进入成功区域的比率高 7.7 个百分点。但在路径效率上,48.41% 对 43.5% 说明 AgenticNav 更接近最短路径。这不是可以忽略的细节:HarnessVLN 的主收益是“最终更容易成功”,并非“所有指标同时占优”。

RxR 的收益更明显,成功率比 HSGM 高 12.1 个百分点,路径加权成功率从 25.1% 升到 38.0%,归一化动态时间规整也接近同一水平。说明在更长、更复杂的多语言路线中,事件记忆和空间证据减少了中途迷失,而不只是改善终点停止。

目标物体导航中,HM3D-v2 的 76.0% 成功率高于 MSGNav 的 74.4%,路径加权成功率也高 4.5 个百分点。HM3D-OVON 上,HarnessVLN 相对 DRIVE-Nav 提升 9.1 个百分点成功率和 4.0 个百分点路径效率。开放词汇场景的增益更大,符合论文的解释:当目标名称不固定、候选外观更模糊时,证据新旧和空间关系比单纯语义相似度更重要。

消融实验:哪些组件真的有用,代价是什么

作者在固定的 100 回合子集上逐项加入事件记忆、时空图和停止校验。这里的“逐项加入”是累积设计:第二行在已有记忆上加入图,第三行再在图与记忆之上加入停止校验。它能回答“在已有组件条件下,新增组件的边际收益”,但不能替代完整的因子交叉实验,因此无法排除组件之间的非加性交互。

原论文表 4:固定 100 回合子集上的累积消融。“差距”是曾进入成功区域比例减去成功率。
事件记忆时空图停止校验 R2R 成功率R2R 路径加权成功率R2R 曾进入成功区域R2R 差距 OVON 成功率OVON 路径加权成功率OVON 曾进入成功区域OVON 差距
否否否46.0%23.7%72.0%26.045.0%32.0%72.0%27.0
是否否54.0%33.0%73.0%19.052.0%32.4%72.0%20.0
是是否60.0%35.4%75.0%15.053.0%34.2%71.0%18.0
是是是64.0%35.8%77.0%13.055.0%33.0%74.0%19.0

事件记忆对两类任务的边际增益最大,分别带来 8 和 7 个百分点成功率。它同时明显缩小 R2R 的机会成功与真实成功差距,从 26 点降到 19 点,说明模型不只是走得更近,还更能判断子目标是否真的完成。对于目标物体导航,路径效率只从 32.0% 微升到 32.4%,增益主要体现在完成判断。

加入时空图后,R2R 成功率再升 6 个百分点、路径效率再升 2.4 个百分点;OVON 成功率只升 1 个百分点,但路径效率从 32.4% 升到 34.2%。这与图结构提供可回退的拓扑和更紧凑的空间证据相符,也说明它不是一个在所有任务上等幅增益的模块。

停止校验把 R2R 成功率从 60.0% 推到 64.0%,把 OVON 从 53.0% 推到 55.0%;R2R 的机会成功与真实成功差距也从 15 点降到 13 点。代价出现在 OVON:路径效率从 34.2% 降到 33.0%,机会成功与真实成功差距从 18 点扩大到 19 点。更严格的核验避免了部分错误停止,却可能让机器人多走一段路,或在本来足够近时继续搜索。论文没有回避这个结果,这一点值得肯定。

换模型之后,框架仍然有效吗

作者在同一个固定 100 回合 OVON 子集上替换规划模型,并保持框架和工具不变。这个对照回答两个问题:性能是否完全依赖一个特定模型,以及在相同模型下,框架本身是否比另一个智能体系统更有效。

原论文表 6:固定 100 回合 HM3D-OVON 子集上的模型敏感性。
方法模型成功率路径加权成功率曾进入成功区域差距
MSGNavGPT-5.6-luna37.0%18.9%46.0%9.0
HarnessVLNGPT-5.6-luna55.0%33.0%74.0%19.0
HarnessVLNGPT-6-astra63.0%39.4%76.0%13.0
HarnessVLNQwen3.8-flash51.0%32.8%75.0%24.0

最直接的比较是 MSGNav 与 HarnessVLN 都使用 GPT-5.6-luna。在相同规划模型下,HarnessVLN 把成功率从 37.0% 提到 55.0%,路径效率从 18.9% 提到 33.0%。这比跨模型排名更能支持“运行时结构有用”的主张,因为至少规划模型这一项被固定了。不过两者的感知工具、提示词和内部流程并不相同,所以这仍不是只改变框架的唯一变量实验。

换成 GPT-6-astra 后成功率达到 63.0%,说明更强模型的规划和接地能力可以继续被框架放大。换成 Qwen3.8-flash 后仍有 51.0%,但机会成功与真实成功差距扩大到 24 点,意味着它更容易靠近目标却无法可靠确认完成。作者没有报告多次随机运行的均值和方差;所有比较都是单个固定回合子集,且模型在温度 0.7 下会产生随机输出,因此小模型之间的几分差距不宜过度解读。

真机部署展示了什么

实验平台是身高 1.74 米的 AgiBot A3U 人形机器人,配有三维激光雷达、多组彩色深度与鱼眼相机,以及基于 NVIDIA Thor 的机载计算。导航主传感器使用头部立体相机,FoundationStereo 生成稠密米制深度,Qwen-3.8-27B 作为框架内规划模型,本地路径规划器把验证后的空间目标转换为航点和运动命令。

作者展示了三种场景:从 806 房间外的交叉口开始,按连续指令左转,在水机旁的垃圾桶处停下,再前往冰箱;搜索红色灭火器;先到入口指示牌,再寻找自动售货机。三个场景覆盖顺序路线跟随、开放词汇目标搜索和两类任务的组合,且部署环境没有训练任务专用策略。

HarnessVLN 在人形机器人上的三类真实导航任务
原论文图 3:三条真机路线分别展示顺序语言指令、开放词汇物体搜索,以及先跟随路线再寻找物体的组合任务。图中路线与停止点是定性案例,不是成功率统计。

这些画面能证明系统在真实传感器、真实运动和人形机器人计算链路上跑通,也能展示空间图如何跨阶段保留地标证据。但它们不能证明系统的统计鲁棒性。论文只给出三个经选择的成功场景,没有报告每个场景重复次数、总试验数、失败类型、人工介入次数、运行时间分布和不同光照或人流条件下的表现。因此“适用于真实环境”应理解为可行性证据,而不是与仿真榜单等价的性能结论。

HarnessVLN 的任务、基准、工具接口与真机部署总览
原论文图 1:统一框架覆盖指令跟随与目标物体导航,在四个基准上评估,并迁移到人形机器人。这里的“统一”指共享运行时协议,不代表两类任务使用完全相同的进度表示。

局限:框架增加了可靠性,也增加了系统假设

第一项限制由作者明确承认:当前框架的编排和验证规则主要是预定义的,尚不能通过开放环境交互自我演化。工具何时调用、哪些条件必须满足、失败如何分类,都依赖设计者事先确定的协议。它降低了大模型任意行动的风险,但也把一部分智能从模型转移到了人工规则;当环境出现规则没有覆盖的失败时,框架未必比端到端策略更有适应力。

第二项限制是停止校验并不总能提高路径效率。OVON 消融中,它在成功率增加 2 个百分点的同时把路径效率从 34.2% 降到 33.0%。这说明三重校验可能过于保守,尤其在目标被部分遮挡、深度噪声大或停止半径与框架阈值不一致时。论文的 2.5 米深度阈值、1.0 米投影目标阈值和基准 1.0 米成功距离如何在不同场景中协调,也缺少更细的敏感性分析。

第三项限制是评测证据的统计强度。主结果是标准验证集,但消融和模型替换都使用固定 100 回合子集;模拟器种子固定为零,没有报告多随机种子重复或置信区间,而模型采样温度非零。100 回合上的一个百分点只有一回合,组件排序可能受子集选择影响。真机部分又是三条定性成功案例,缺少可复核的成功率与失败谱。

第四项限制是复现门槛高。代码尚未发布,仓库只有待开源说明;GroundingDINO、SAM、FMM、NavDP 与专有多模态模型之间的提示词、状态序列化和失败反馈格式无法从源码核验。框架声称导航执行器可替换,但没有提供替换后的性能与兼容性实验。

第五项限制是系统依赖大量外部组件。主实验使用不同专有模型分别服务两类任务,真机再换成 Qwen-3.8-27B;深度、检测、分割、楼梯导航和执行器都可能成为误差源。论文主要报告端到端成功,却没有拆解失败中有多少来自视觉检测、目标接地、空间图检索、模型规划、底层执行和停止判定。对于工程团队,这决定了应该优先优化哪一层。

这项工作真正改变了什么

HarnessVLN 的贡献不是发明一个新的端到端网络,而是把“智能体框架”具体化为导航状态机。它要求每个语义动作都有可验证目标,每次执行都返回结构化结果,每个失败都能在空间中找到位置,每次停止都必须同时满足语义、几何和任务进度。与只靠提示词串联工具的系统相比,这些约束让大模型拥有更少的幻觉空间。

四个基准的结果说明该方向有足够强的经验信号:R2R 60.8%、RxR 53.9%、HM3D-v2 76.0%、HM3D-OVON 59.3%,且跨任务共享同一套运行时协议。更细的阅读也必须保留另一面:R2R 路径效率仍低于 AgenticNav,HM3D-v2 的 37.9% 路径效率低于 FiLM-Nav 与 DRIVE-Nav 的 41.3%,更严格的停止校验可能牺牲效率。

下一步最值得验证的不是继续堆高语言模型,而是三个工程问题。其一,能否让验证规则从失败历史中自适应调整,而不是永远由人预先写死。其二,能否给出失败来源的分解诊断,把感知错误、空间记忆错误和执行错误区分开。其三,能否在更多真实场景中进行重复试验,并报告命令行约束、人工介入、计算延迟和安全停止行为。只有这三类证据补齐,智能体执行框架才可能从“能演示”走向“可部署”。

结论

HarnessVLN 把免训练具身导航从“让大模型看图选动作”推进到“让大模型在受约束的导航运行时中提出动作”。分层事件记忆维持任务连续性,时空图为空间证据和失败提供可检索索引,统一工具接口把语义计划接到可执行路径,三重停止校验阻止模型仅凭语义自信结束回合。它在四个基准上取得高于既往免训练方法的主结果,并用 AgiBot A3U 人形机器人展示了跨任务运行能力。

这篇论文最可信的部分不是某个单点模块,而是对导航错误的系统分解:旧证据、不可达目标、任务进度漂移和错误停止被分别建模,再通过同一状态循环连接起来。最需要后续验证的部分同样清楚:规则仍由人定义,样本统计仍偏小,系统依赖多个外部模型,且尚无公开代码。它提供了一个有力的系统基线,但还不足以证明这种框架能自发适应开放世界。

金句:具身导航的可靠性,不是让模型更敢做决定,而是让每个决定都能被空间证据、任务进度和执行反馈共同追问。

视觉语言导航具身智能智能体运行时Training-FreeMLLM人形机器人

原始链接

https://arxiv.org/abs/2609.15195https://github.com/AgibotGeneral/harnessvlnhttps://agibot-harnessvln.netlify.app/

相关论文

看见所需,想象所向:自构造表征空间上的导航基础模型

看见所需,想象所向:自构造表征空间上的导航基础模型

RepresentNav 让导航任务自己选择三个冻结视觉基础模型中不同深度的信息,并在同一潜在空间预测四个未来状态,再生成八个与体素无关的航点;仿真基准、潜在状态探针和真实机器人实验共同检验这种按任务看、在同空间想象的导航接口。

Jiawei Chen, Yinxi Wang, Zihan Yang · 64次阅读 · 2026年10月22日
机器人导航具身智能
2026年10月22日
GuidedNav:通过动作前注意力与空间引导塑造视觉语言导航表征

GuidedNav:通过动作前注意力与空间引导塑造视觉语言导航表征

GuidedNav 在训练阶段用子任务、地标与空间三类引导约束视觉语言导航策略的表征:让动作前注意力对准当前指令片段与相关视觉区域,并将长时几何和局部空间结构蒸馏给仅依赖单目 RGB 的策略。方法在 R2R-CE 与 RxR-CE 验证集上取得领先成功率,同时保持较低推理开销。

Jingyu Guo, Jiaxin Huang, Chengxing Lin · 91次阅读 · 2026年10月9日
Vision-and-Language Navigation具身导航
2026年10月9日
NavJev:动作中心视觉压缩导航

NavJev:动作中心视觉压缩导航

NavJev 用动作中心视觉压缩与判别式动作语义记忆,把 VLN 化为类型化选择;R2R-CE 达 27.0% SR、22.4% SPL,单步 0.65 秒。

Kai Sheng, Liuyi Wang, Jinlong Li · 172次阅读 · 2026年9月28日
视觉语言导航零样本
2026年9月28日
StageVLN:面向高效视觉语言导航的空间轨迹引导

StageVLN:面向高效视觉语言导航的空间轨迹引导

StageVLN在训练阶段以冻结几何模型提供多层空间引导,并用相对朝向与专家路线进度约束导航状态;部署时辅助分支全部移除。它在R2R-CE未见验证集取得56.3%成功率与51.4% SPL,在RxR-CE取得54.3%成功率。

Anh Dao, Quan-Dung Pham, Le Danh Vinh · 264次阅读 · 2026年10月5日
视觉语言导航具身智能
2026年10月5日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。