Skip to content
←返回论文库

PAPER DEEP DIVE

Object NavigationZero-Shot Learning视觉语言模型

基于房间中介共现与前沿评分的零样本物体中心语义导航

零样本物体导航常依赖视觉语言模型给出物体关系,但隐空间中的直接相似度并不等于空间共现。论文提出一种无需训练的物体中心语义导航流程:先用 CLIP 把每个物体标签映射为紧凑的房间概率向量,再以目标与检测物体的房间分布重叠衡量共现;随后通过快速行进法把语义分数沿可通行空间传播,并以自适应衰减形成价值地图;最终按语义价值排序前沿。该方法在 HM3D 验证集上相对图像整体基线提升成功率与 SPL,同时保持开放词表与可解释性。

论文信息:Adam Scicluna、Gavin Paul、Alen Alempijevic,悉尼科技大学机器人研究所,IROS 2026。

论文与代码:arXiv:2607.25448;项目主页;UTS-RI/RPV-SemNav。官方代码已经公开,核心实现基于 Habitat 中的 VLFM 框架。

一句话总结

论文把“物体与目标是否相关”改写为“两个物体分别属于哪些房间”的概率重叠问题,再用测地线价值图和前沿评分引导机器人搜索,在没有任务级训练的情况下取得 HM3D 验证集 0.539 的成功率。

研究背景与问题

物体目标导航要求机器人在从未见过的室内环境中寻找一个由语言指定的物体。机器人既要知道哪里可以走,也要决定先走向哪一片未知区域。几何地图只能回答前一个问题,后一个问题依赖语义先验:看到床、台灯或衣柜时,机器人应当推断附近更可能出现卧室,而不是车库。对真实服务机器人而言,这种先验能够把盲目探索变成有方向的搜索。

已有方法大致分为两类。第一类在固定类别集合上学习语义地图或端到端策略,通常依赖大规模场景标注、示范数据或强化学习环境。它们在训练分布内很强,但遇到新的目标词、新的房型或新的视觉域时,需要重新采集数据甚至重新训练。第二类利用图文模型做零样本导航,例如把当前整张图像与目标文本比较,再把相似度投到价值图上。后者更开放,却把物体、背景和房间结构混在同一个图像向量里,语义信号容易受到视野和拍摄角度影响。

论文关注一个更细的失败模式:两个词在视觉语言潜空间里相近,并不代表它们经常出现在同一个房间。比如某些物体在语言上同属家居用品,空间分布却可能完全分离;反过来,一个在语言上并不相似的结构性物体,可能与目标具有稳定的功能共现关系。直接把物体词向量做余弦相似度,无法保证这种空间关系。

作者选择房间类型作为中间变量。物体先被映射到九类房间上的概率分布,再通过分布点积估计共现强度。这个设计把高维语言相似度压缩到一个低维、可解释、与室内布局直接相关的空间。机器人不需要学习“微波炉通常在水槽或餐桌附近”这样的具体规则,只需要比较“微波炉”与检测物体在厨房、餐厅等房间上的概率质量是否重叠。

另一个关键问题是信号应当怎样传播。若只按欧氏距离扩散,隔墙房间也会收到语义信号,前沿排序可能被错误地拉向相邻但不可达的区域。论文因此采用快速行进法,在自由空间中传播测地距离。语义决定搜索优先级,占据栅格决定哪些传播路径真实可行,二者在同一张价值图上结合。

任务定义与动作空间

机器人从任意初始位姿出发,在未知环境中寻找目标实例。它每步接收第一视角彩色图像和深度图,并执行离散动作。动作集合为前进 0.25 米、左转 30 度、右转 30 度或停止。初始化阶段先连续左转 12 次完成一周环境观察,之后进入探索模式;识别到目标后切换到导航模式,只执行接近目标的控制。

成功条件是机器人在 500 步以内到达任一正确目标实例周围 1 米范围内。这个设定同时约束成功率、路径效率和控制预算。论文使用成功率、加权逆路径长度成功率以及到目标距离三项指标,分别观察“是否找到”“找得是否直接”和“终止时离目标多远”。

底层移动控制器沿用 VLFM 体系中的预训练点导航策略,所有对比方法共享这一控制器。因此性能差异主要来自前沿评分,而不是低层转向或碰撞避免能力。这个实验隔离对方法评价很重要,否则无法判断提升来自语义推理还是更强的运动控制。

方法总览

系统先做结构区域遮罩,再用开放词表检测器提出物体候选,随后用高精度实例分割确认掩码和质心。每个物体标签与九个房间词一起送入文本编码器,得到房间概率向量。目标物体同样得到一个向量,两者点积形成共现幅值。该幅值从物体质心出发,通过自由空间做测地传播,最终在每个前沿区域内取中位数,选择数值最高的前沿作为下一段导航目标。

论文框架总览与微波炉搜索示例

图 1:论文 Fig. 1 的图形化总览。寻找微波炉时,与目标更可能同处一室的物体会发出更强信号,不相关物体即使可见也不会主导价值图。

flowchart TD
  A[RGB-D observation] --> B[Mask2Former ADE20K masking]
  B --> C[YOLOE proposals over 1203 LVIS labels]
  C --> D[SAM 3 instance masks and centroids]
  D --> E[Tracked object labels and world positions]
  E --> F[CLIP raw-text embeddings]
  G[Target label] --> F
  H[Nine-room lexicon] --> F
  F --> I[Room Probability Vectors]
  I --> J[RPV dot product]
  J --> K[Square-root weight and adaptive sigma]
  L[Occupancy grid] --> M[FMM geodesic propagation]
  K --> M
  M --> N[Semantic value map]
  N --> O[Median value per frontier]
  O --> P[Highest-scoring frontier]
  P --> Q[Shared PointNav controller]

流程图 1:根据论文方法绘制的专属流程。关键路径是“房间概率向量 → 分布重叠 → 测地传播 → 前沿中位数”,没有引入学习型关系模块。

开放词表感知

直接让检测器扫描整张图像会产生大量背景误检:墙面、地板、天花板和门窗在视觉上占据大片区域,却几乎不提供“目标可能在哪个房间”的判别信息。论文先用 Mask2Former 在 ADE20K 上做语义分割,把结构表面、门窗和窗帘等区域模糊化。这里的目标不是提升物体检测召回率,而是从输入端切断无效纹理对后续开放词表检测的干扰。

遮罩后的图像送入 YOLOE,使用 LVIS 的 1203 个类别形成不受限的候选词表,保留置信度大于 0.5 的检测。YOLOE 的价值在于开放词表与速度,但它面对宽泛类别时容易给出语义近似但错误的框。于是每个检测标签又作为提示送入 SAM 3,由 SAM 3 生成像素级实例掩码,并将掩码与深度图结合,得到物体质心在世界坐标中的位置。

目标类别始终被加入 SAM 3 的提示列表,因此机器人不必先检测到目标的精确 LVIS 标签才开始识别。认到目标后可以直接进入导航模式。这个“检测提议、分割复核、深度反投影”的级联比单一检测器更重,但它把地图中的语义信号建立在实例掩码上,而不是整张图像的类别标签上。

为降低计算量,探索阶段每三步运行一次完整感知栈,导航阶段每三步只运行 SAM 3。论文给出的依据是离散动作下相邻帧变化有限,逐帧重复遮罩和检测往往不会带来新物体。这个节流策略是工程性能的一部分,也解释了为什么峰值计算需求不能简单按每帧都运行 Mask2Former、YOLOE 和 SAM 3 来估算。

论文的三阶段开放词表感知流程图

图 2(论文 Fig. 3):感知管线。结构区域先被遮罩,检测器提出物体框,分割模型再用标签提示生成实例掩码。

九类房间词表与概率映射

房间词表包含浴室、卧室、餐厅、车库、厨房、走廊、洗衣房、客厅和家庭办公室九类。它不是为了精确识别当前房间,而是作为物体之间的共享坐标系。一个物体与目标是否可能同室,可以由它们在这个坐标系上的概率质量是否重合来判断。词表规模很小,所以计算成本低,解释路径也清楚。

词表并非硬编码世界规则。作者指出它可以替换成“睡眠区域”“烹饪区域”等更抽象的类别,或者替换成仓库、医院等领域的专用区域。替换词表不需要训练导航策略,因为模型只使用文本编码和解析运算,这保持了零样本适应能力。当然,这也意味着词表本身的设计会直接决定先验质量。

对于物体标签 $o$ 和房间标签 $r_i$,先计算 CLIP 文本嵌入之间的余弦相似度:

$$s_o(r_i)=\cos\left(e(o),e(r_i)\right)=\frac{e(o)\cdot e(r_i)}{\lVert e(o)\rVert\,\lVert e(r_i)\rVert}.$$

随后使用温度缩放的 softmax 将九个相似度转成概率:

$$p_o(r_i)=\frac{\exp\left(s_o(r_i)/\tau\right)}{\sum_{j=1}^{K}\exp\left(s_o(r_j)/\tau\right)}.$$

论文取 $\tau=0.03$ 和 $K=9$。温度越低,分布越尖锐;温度越高,分布越接近均匀。这个取值试图在判别力与 CLIP 噪声之间取得平衡。过低温度会把细小的文本相似度误差放大成过度自信的房间归属,过高温度则让床、浴缸等明显物体都接近均匀分布。

得到九个概率后,物体被表示为 $\mathbf{p}_o=[p_o(r_1),\ldots,p_o(r_K)]^\top$。这个向量不含机器人当前位置,也不依赖视觉实例外观,只描述标签层面的房间关联。因此它可以离线预计算,也可以在新目标出现时即时计算。代码中的房间列表与论文完全一致,见 vlfm/vlm/room_types.py:1-11;余弦相似度、温度 softmax 与矩阵点积分别位于 vlfm/vlm/clip.py:63-109。

房间中介的共现得分

对检测物体 $o_d$ 与目标物体 $o_t$,作者用两个房间概率向量的点积定义共现幅值。它不是把两个物体词向量直接比较,而是先把二者都边缘化到同一组房间变量上,再累加每个房间中的共同概率质量。

$$A_o=\operatorname{cooc}(o_d,o_t)=\mathbf{p}_{o_d}\cdot\mathbf{p}_{o_t}=\sum_{i=1}^{K}p_{o_d}(r_i)\,p_{o_t}(r_i).$$

这个量可以理解为两个离散房间分布的联合匹配程度。若检测物体与目标都把主要概率放在厨房,点积会高;若一个集中在厨房、另一个集中在浴室,重叠会被压低。相加发生在九维房间空间,而不是数百维语言空间,因此结果更容易解释。论文称之为“房间中介”的物体中心关系。

实现中没有让语言模型逐对生成关系,而是先求目标房间概率,再把检测物体的房间概率矩阵与目标向量相乘。策略层将结果作为每个分割实例的分数,只有正分实例才被投影到世界坐标并写入价值图。对应逻辑在 vlfm/policy/itm_policy.py:252-310,目标概率分布也由同一接口传给检测物体比较,见 vlfm/vlm/clip.py:164-184。

点积是对称的,而真实条件概率 $P(t\mid o)$ 并不对称。论文也承认这一理论差异,但在验证集上点积仍比唯一的有向对比方法 KL 散度更适合导航排序。一个重要原因是点积会乘性抑制任一分布中的低概率房间,把注意力集中在共同峰值上。它牺牲了完整分布的形状一致性,却提高了前五个强锚点的可用性。

论文系统总览图

图 3(论文 Fig. 2):系统总览。RGB-D 观测经过开放词表感知后生成物体标签与位置,房间概率向量决定物体信号强度,价值图与本地规划器共同选择前沿。

测地价值传播与自适应衰减

每个被检测物体都向周围自由空间发射一个随距离衰减的信号。论文不直接使用平面欧氏距离,而是用快速行进法在占据栅格上计算从物体质心到每个可达单元的自由空间测地距离。这样,信号可以绕过家具、穿过门洞,但不会穿墙进入相邻房间。

价值图在每个单元 $\mathbf{x}$ 上聚合所有可达物体的贡献。$\mathcal{O}_{\mathbf{x}}$ 表示其信号能够到达该单元的物体集合,$d_{\mathrm{geo}}$ 是测地距离,$\sigma_o$ 是空间扩散尺度:

$$V(\mathbf{x})=\frac{1}{|\mathcal{O}_{\mathbf{x}}|}\sum_{o\in\mathcal{O}_{\mathbf{x}}}A_o\exp\left(-\frac{d_{\mathrm{geo}}(\mathbf{x},\mathbf{x}_o)^2}{2\sigma_o^2}\right).$$

归一化除以受影响物体数量,是为了避免物体密集区域仅凭数量压过少量高相关物体。把所有物体信号直接相加时,堆满普通家具的角落可能获得高值;取平均后,价值更接近“该区域锚点的代表性相关度”。代码中的逐标签聚合、非零计数与最终平均见 vlfm/mapping/value_map.py:584-620,测地传播本身见同文件 300-410。

扩散尺度不是固定常数。作者先对共现幅值取平方根,得到用于插值的权重:

$$w=\sqrt{A_o}.$$

然后在线性区间内缩放扩散尺度:

$$\sigma_o=\sigma_{\min}+(\sigma_{\max}-\sigma_{\min})w,$$

其中 $\sigma_{\min}=1.0$ 米,$\sigma_{\max}=5.0$ 米。高相关物体可以把信号送到房间尺度,弱相关物体只影响局部。平方根的作用是扩展低分区间 $[0.1,0.3]$ 的相对差异,因为大量共现分数集中在这一窄带内;它同时压缩整体动态范围,属于为前沿排序服务的折中。源码对应关系清楚:value_map.py:556-566 计算平方根权重和自适应尺度,value_map.py:405-408 使用测地行程时间做高斯衰减并清除墙体与未知单元。

快速行进法并非没有代价。代码在检测质心落入障碍物时,会在附近自由空间寻找种子,并用形态学边界避免单侧偏置;找不到有效种子或传播失败时,退回各向同性高斯。这个回退说明真实地图上仍存在规则假设失效的边界情形。论文的消融只比较最终导航指标,没有报告 FMM 回退频率,因此公开数字更适合说明整体效果,而不是保证每帧都严格保持拓扑传播。

寻找床的六阶段导航过程

图 4:寻找床的定性过程。随着探索推进,语义热区逐步集中到卧室附近,前沿候选和轨迹随之收敛。

前沿选择

系统把自由空间与未知空间的边界提取为前沿,再将距离很近的自由单元聚成候选区域。对每个候选区域 $F_j$,作者不取单个最大值,而取区域内部圆形邻域价值的中位数:

$$V_j=\operatorname{median}_{c\in\mathcal{C}_j}V(c).$$

中位数降低单个高值单元对前沿排序的影响,使分数更能代表整片前沿附近的语义强度。圆形邻域中未观测或为零的单元会被剔除;若邻域没有非零值则返回负值,不会把空区域误当成强前沿。实现见 vlfm/utils/img_utils.py:213-264。最终选择最高分前沿:

$$F^{*}=\arg\max_{F_j\in\mathcal{F}}V_j.$$

前沿提取由独立的边界检测模块完成,候选点随后交给共享点导航策略。frontier_exploration_src/frontier_exploration/frontier_detection.py:15-61 生成并返回前沿路点,225-242 为每条前沿选择离机器人最近的边界点或中点。论文方法层使用区域中位数,而代码的邻域搜索半径由调用方传入;该细节应以实际配置为准,不能把论文中的 0.5 米聚类半径与评分邻域半径混为一谈。

这种前沿评分只利用语义开发,不显式计算信息增益。机器人在语义信号强的区域会更愿意继续走,但在走廊等语义稀疏区,弱信号可能把机器人锁在局部方向。作者在结论中明确把这一点列为未来工作,建议加入信息增益项来平衡“追随语义”和“扩大可通行空间覆盖”。

如何验证房间先验本身

导航成功率会同时受到感知、建图、控制和前沿选择影响,因此作者另外构造了不依赖导航策略的共现验证。对每个目标 $t$ 和检测物体 $o$,从 HM3D 语义标注计算二者出现在同一房间的条件概率:

$$P(t\mid o)=\frac{|\mathcal{R}_t\cap\mathcal{R}_o|}{|\mathcal{R}_o|},$$

其中 $\mathcal{R}_t$ 是包含目标实例的房间集合,$\mathcal{R}_o$ 是包含检测物体的房间集合。作者把原始标签映射到 40 个标准类别,再排除地板、墙、天花板等缺乏判别力的建筑类别,留下 21 个物体类别。随后比较不同房间分布距离度量与该条件概率真值的排序一致性。

这一验证把“文本嵌入是否听起来合理”降级为辅助判断,直接把结果对齐到 HM3D 标注中的实际同室频率。论文报告的是逐目标类别的 Spearman 排名相关、Recall@5 和 NDCG@5。它仍不是物理机器人实验,但至少把语义先验与场景几何标注连接起来,而不是只用少量定性样例证明方法有效。

实验设置

实验在 Habitat 模拟器与 HM3D 语义验证集上完成,共 2000 个回合、20 个室内场景,目标类别为椅子、床、盆栽、马桶、电视和沙发。硬件为 12 代 Intel Core i9-12900K 处理器、48GB 显存的 NVIDIA Quadro RTX 8000。目标词保持固定六类,但环境与回合对于方法是未知的。

RPV-V1 与 RPV-V2 使用同一个房间共现模型,区别仅在传播方式。V1 以欧氏距离各向同性高斯直接写入价值图,信号可以穿墙;V2 使用自由空间测地传播。这个配对消融可以单独观察拓扑传播的贡献,而不受语义分数变化干扰。感知节流也在两版中保持一致。

对比方法包含 VLFM、UIAP-OGN、零样本 L3MVN、训练型 L3MVN 和 PIRLNav。PIRLNav 使用 HM3D 训练集的 7.7 万条人类示范做行为克隆,因此它不是与零样本方法同条件比较,而是用来观察性能上限。论文也标注 VLFM 是本地重新评估的基线,避免直接引用不同实现造成偏差。

共现度量验证

房间概率点积的完整行 Spearman 相关系数为 0.329,略低于若干其他分布度量的 0.355 到 0.365。但导航真正需要的是把少量强关联锚点排在前面,所以前五名排序更关键。点积的 Top-5 Spearman 为 0.319,Recall@5 为 0.524,NDCG@5 为 0.715,在这三项指标上均取得最佳结果。

验证指标RPV 点积结果如何理解
完整行 Spearman0.329全 21 类上的整体排序一致性略低
Top-5 Spearman0.319最强锚点内部顺序保持可用
Recall@50.524一半以上的强共现锚点进入前五
NDCG@50.715前五名中高分锚点通常获得更高权重
椅子归一化熵0.773通用物体跨多房间,空间特异性较弱

表 1:论文报告的共现度量验证。数值来自第 V-A 节和表 I 前的排名分析。

完整行相关系数下降并不意外。点积在九维分布上逐项相乘,只要一个房间的概率很低,该项就会被压小,因此比 Jensen-Shannon 散度等更强调峰值重合。对高熵物体,比如椅子,其质量本来就分布在多个房间,点积会把所有弱匹配压进狭窄的低值带,弱化更多类别的细微排序。论文用平方根变换扩展这一低值带,再把它转化成扩散尺度。

点积的对称性也没有造成实验退化。条件概率真值具有方向性,但点积仍优于 KL 散度。作者推测,其他距离对高熵物体的分布形状过于敏感,而点积的多重抑制更能突出共享房间。这一解释与观测一致,但还不是对一般室内环境的完整理论证明。

不同房间分布度量的排序质量比较

图 5:不同分布比较方法的完整行相关、前五相关、Recall@5 与 NDCG@5。

按归一化熵排序的房间概率热图

图 6:房间概率向量按熵排序。床、浴缸、马桶等低熵物体集中,衣物、椅子等高熵物体分布更分散。

导航性能

最终 RPV-V2 在 2000 个验证回合上取得 0.539 的成功率和 0.307 的 SPL,平均到目标距离为 4.06 米。与 VLFM 的 0.523 和 0.303 相比,成功率相对提升 3%,SPL 相对提升 1.3%。绝对值分别增加 0.016 和 0.004,因此这不是数量级跃迁,而是同一框架内一次可测量但幅度有限的改进。

与 UIAP-OGN 的 0.523 和 0.290 相比,RPV-V2 在成功率和路径效率上都更高。作者强调本方法只用原始物体标签字符串作为语言输入,不需要多套手写提示,也不调用大语言模型推理。相比图像整体嵌入,实例级信号更接近机器人在房间中真正能够定位的物理锚点。

训练型 PIRLNav 的成功率是 0.641,高于 RPV-V2,但其 SPL 只有 0.271。PIRLNav 依托 7.7 万条示范,成功次数更多,路径却相对更绕。RPV-V2 的 SPL 更高,说明在成功回合中更接近最短可达路径。两种优势不能简单互换:前者代表更强的问题求解上限,后者代表训练自由条件下更好的搜索效率。

方法是否训练SR ↑SPL ↑DTG ↓
L3MVN 前馈变体是0.5420.2553.93
PIRLNav是0.6410.271未报告
L3MVN 零样本变体否0.5040.2314.43
UIAP-OGN否0.5230.290未报告
VLFM 本地复现否0.5230.3034.18
RPV-V1否0.5340.3044.12
RPV-V2否0.5390.3074.06

表 2:论文表 I 的 HM3D ObjectNav 性能。DTG 单位为米,横线表示原文未报告。

传播消融

从各向同性高斯的 RPV-V1 换成测地传播的 RPV-V2,成功率增加 0.005,SPL 增加 0.003,到目标距离减少 0.06 米。提升不大,但方向一致。V1 的弱信号会穿墙扩散,在相邻但无关的房间制造低值响应;归一化后,这些广泛弱响应会稀释真正相关的物体信号。V2 把传播限制在自由空间,因此前沿更可能与可达物体关联。

V1 也有优势:它不依赖已经扩展到未知区域的可通行拓扑,因此新检测一旦出现,信号可以立即影响附近未知前沿;V2 不会进入未知单元,可能更保守。论文的数据表明严格的墙体和可达性约束在总体指标上略胜,但两种策略各有偏置。这个差异也解释了为什么作者提出未来结合两类传播,而不是认为测地高斯已经完全替代各向同性高斯。

RPV-V2 平均每步推理耗时 335.5 毫秒。这个数字包括系统整体每步决策成本,而完整感知栈每三步才运行一次。论文认为该方法可用于机器人部署,但资源受限平台最好把感知和视觉语言推理卸载到边缘服务器。对 500 步上限的 HM3D 回合,335.5 毫秒意味着纯推理累计时间可观,不能只看成功率忽略延迟。

代码与论文的对应关系

官方实现首先固定了论文的九类房间词表,见 vlfm/vlm/room_types.py:1-11。文本编码路径在 vlfm/vlm/clip.py:63-109 中依次实现余弦相似度、默认温度 0.03 的 softmax 和检测物体矩阵与目标向量的点积,这与公式 1 至 3 直接对应。

策略层在 vlfm/policy/itm_policy.py:252-310 先计算目标物体的房间概率,再把该概率传给分割物体批量计算点积;只有正分实例才由掩码质心和深度反投影变成世界坐标信号。价值图在 vlfm/mapping/value_map.py:300-410 使用 scikit-fmm 在自由空间速度图上传播行程时间,并在结果上施加高斯衰减与半径截断。

自适应扩散尺度位于 value_map.py:556-566,实现的是 $\sqrt{A_o}$ 权重与最小、最大尺度插值。多标签聚合在 584-620 行采用先按标签取最大值、再按非零标签计数求平均的做法,对应公式 4 中按受影响物体数归一化的意图。前沿排序在 734-775 行计算半径邻域值并按降序返回。

公式 7 的邻域实现并不在价值图文件里,而是在 vlfm/utils/img_utils.py:213-264:它切出方形窗口,用圆形掩码筛选像素,删除零值,再按默认的 median 约简返回。这个跨文件对应关系很关键,单看论文容易以为中位数直接作用于整个自由空间前沿,实际上它作用于每个路点周围的圆形邻域。

局限与风险

作者明确承认当前 RPV 不显式处理熵。椅子、桌子等物体可以出现在多个房间,房间分布较平,信号会渗入价值图并稀释高特异性物体。可以把熵惩罚、熵裁剪或分布正则化加入权重,让床、浴缸等低频但高判别力的物体拥有更高动态范围。现有平方根权重重排了低分区间,却没有直接扣除高熵造成的不确定性。

第二项作者自述局限是解析共现估计与真实标注的相关性仍不够强。完整行 Spearman 只有 0.329,前五 Recall 为 0.524,意味着相当一部分真实强关联没有排进前五。更好的统计模型、场景先验或混合度量可能缩小这个差距,但也可能牺牲训练自由的属性,因此提升精度与保持零样本之间存在张力。

第三项作者局限是策略过度利用语义,缺少显式信息增益。当检测到的物体都很弱或当前区域本身语义稀疏时,机器人仍可能追逐低值信号,而不是选择能揭示更多自由空间的前沿。作者建议加入信息增益项,在语义吸引和拓扑探索之间做更明确的权衡。这个缺陷在长走廊、门厅和多出口环境中尤其值得关注。

计算与验证范围也有现实边界。方法依赖 Mask2Former、YOLOE、SAM 3 和 CLIP 组成的级联,335.5 毫秒只是平均每步推理时的报告值,论文没有给出不同硬件、显存占用和能耗对比。实验完全在 Habitat 和 HM3D 模拟环境中完成,只有六个目标类别,也没有验证真实机器人的感知漂移、标定误差、动态障碍或光照变化。

房间词表的泛化同样需要谨慎对待。九类住宅房间可能无法覆盖办公室、医院、仓库、商场或多层住宅。作者声称词表可替换且无需重训,但替换后 CLIP 对各区域词的先验是否仍与真实空间分布一致,并没有在新领域实验。这个可替换性是架构层面的开放接口,不等同于已经证明的跨域鲁棒性。

此外,二维地图框架只支持单层环境,论文明确说明无法解决 HM3D 验证集中 14.6% 需要跨楼层导航的回合。也就是说,报告成功率是在方法可处理的单层子集上观察到的结果,不能直接外推到立体多层建筑。把 FMM 扩展到多层需要显式楼梯、坡道或垂直连通图,而不是把二维价值图简单复制到每层。

结论

这篇论文的主要价值不在于刷新绝对成功率,而在于提出一种可解释、无需任务级训练的物体关系中介方式。房间词表把“语义相似”转换为“同室概率重叠”,测地价值图再把这种关系约束到真实可通行空间。每个环节都能单独检查:房间概率、物体点积、传播路径和前沿中位数都有明确数学对象。

实验结果给出温和但有信息量的信号。RPV-V2 相对 VLFM 提升 0.016 的绝对成功率和 0.004 的绝对 SPL,传播消融只贡献 0.005 和 0.003。它说明拓扑约束和物体中心信号都有作用,但当前收益不足以宣告图像整体方法失效。真正稳健的系统很可能需要结合物体级别、房间级别、图像级别以及信息增益四类证据。

对机器人开发者而言,最值得复用的是“先计算可解释空间先验,再让几何连通性过滤证据”的结构。若要走向真实部署,下一步应优先解决高熵物体抑制、动态房间词表校准、跨楼层拓扑和感知延迟,而不是仅在同一 HM3D 划分上继续微调房间温度。

金句:语义相似只说明两个词在语言中靠近,房间概率重叠才说明它们可能在物理世界里相遇。

Object NavigationZero-Shot Learning视觉语言模型语义建图室内目标导航零样本学习

原始链接

https://arxiv.org/abs/2607.25448https://github.com/UTS-RI/RPV-SemNavhttps://uts-ri.github.io/RPV-SemNav/

相关论文

GLaM:在全局时空记忆上训练用于主动探索与导航的潜世界模型

GLaM:在全局时空记忆上训练用于主动探索与导航的潜世界模型

GLaM 是在线时空记忆上的目标条件潜世界模型,联合预测未来地图表示与机器人相对路点潜变量;GLaM Nav 再加入真实观测核验、目标检索和几何控制。论文在受控的 50% HM3D-ObjectNav 子集上将成功率从 78.50% 提升到 86.89%,SPL 从 47.70% 提升到 48.35%,并以 Astribot S1 展示未知办公室探索和历史地点重访。

I-Tak Ieong, Ruizhi Feng, Zhaoyang Lu · 223次阅读 · 2026年9月13日
具身智能Object Navigation
2026年9月13日
SuperNav:面向任意任务与任意场景的智能体导航系统

SuperNav:面向任意任务与任意场景的智能体导航系统

SuperNav 给一个预训练多模态大模型套上专用 agent harness,全程不做导航微调:MLLM 只负责解读请求、理解场景与做决定,移动交给可替换的运动后端(几何执行器 / 学习执行器),两者由统一的视觉点接口连接——模型直接在观测图像中点出目的地,并从执行反馈中修正决定。harness 另提供 Navigation Skills、面向 agent 的工具、任务进度记录与上下文管理,以支撑长程交互。在 Habitat-GS 单目标 / 有序多目标 / 需求驱动任务上成功率达 78.00% / 34.00% / 59.50%(最强基线分别为 34.00% / 4.00% / 37.50%),HM3D-OVON 120 集 val-unseen 上 1 m 阈值取得 73.33% SR / 0.4105 SPL,并在 Unitree Go2 四足真机上完成搜索与多目标拜访演示。

Jinkai Zhang, Jingyi Xu, Yuanhong Yu · 491次阅读 · 2026年10月8日
Object NavigationEmbodied Agent
2026年10月8日
HAM-VLN:用分层智能体记忆实现零样本视觉语言导航

HAM-VLN:用分层智能体记忆实现零样本视觉语言导航

视觉语言导航(VLN)要求机器人在从未见过的环境中按自然语言指令走到目标位置或目标物体。近期出现了一条免训练范式:机器人把当前观测交给多模态大模型,由模型理解场景并规划下一步动作。但无论用图像流还是稠密地图做长程导航,都会不可避免地引入不断膨胀的记忆与推理瓶颈。本文提出 HAM-VLN——一种与决策耦合、由智能体自己撰写的记忆机制,为机器人配上一张持久的、由深度反投影落地的世界图。在选择下一个动作的同一次模型调用里,HAM-VLN 同时记录语义与反思信息,包括房间类型、看到的物体、指令执行进度以及失败原因。最近的航点在有限窗口内原文保留,更久远的历史只有通过检索才会重新进入上下文,检索按相关性、时近性与显著性打分,并做一跳拓扑扩展。这个设计不需要在逐航点决策之外增加任何大模型调用。相比已有方法,HAM-VLN 不仅提升了多项导航指标,还把上下文长度压缩了 65% 以上:在完全不训练的前提下,VLN-CE R2R 成功率 61.0%,VLN-CE RxR 52.7%,HM3D-v2 ObjectNav 79.7%。

An Liu, Bingxi Liu, Hongyu Ding · 876次阅读 · 2026年7月31日
视觉语言导航具身智能
2026年7月31日
SSTG-Nav:面向可复用物体导航的度量接地空间语义拓扑图

SSTG-Nav:面向可复用物体导航的度量接地空间语义拓扑图

服务机器人在同一住宅或设施中长期工作时,不应为每次请求重新探索熟悉空间。SSTG-Nav 把一次与目标无关的环境巡检转化为持久度量语义拓扑:最远点采样建图(6,642 节点/21,845 边,覆盖半径 0.8 米),视图级 VLM 检测经深度反投影与 0.8 米 standoff 接地为可达停点位,源感知 noisy-OR 融合跨视角合并证据并保留残差 standoff 用于恢复。在 HM3D-v2 全验证集 1,000 个 episode 上,目标无关拓扑的几何成功上限达 99.4%;固定语义响应下度量接地把 SR/SPL 从 0.835/0.560 提升到 0.920/0.603,融合达 0.926/0.586,融合感知 Top-3 恢复达 0.975/0.601,并以 ROS 2/Nav2 真机闭环验证了查询到执行的完整链路。

Peng, Daojie, Wang, Bingtao, Ma, Jun · 818次阅读 · 2026年8月1日
Object Navigation语义建图
2026年8月1日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。