LG-VLN：单目零样本连续视觉语言导航框架

方法详解

1. 图结构执行与共享状态

LangGraph 在本文中不是语言模型生成流程的装饰层，而是导航控制骨架。每个时刻，路由函数根据共享状态选择初始化、正常导航、恢复或终止分支。选定分支对状态和观测执行更新，结果再写回同一个持久状态。其抽象形式为：

$$ n_t=\rho(\mathbf{s}_t),\qquad \mathbf{s}_t^{+}=F_{n_t}(\mathbf{s}_t,o_t). $$

其中 $\mathbf{s}_t$ 包含指令进度、地图和动作反馈，$\rho$ 负责选择活动节点，$F_{n_t}$ 表示该节点的状态转移。与不可见的单体循环相比，这种写法让“为什么进入恢复”“当前子指令是否完成”“沿用了哪次语义观察”都能成为显式状态，便于诊断长程失败。

graph TD
  A[单目RGB观测] --> B[VGGT
深度位姿与点云]
  A --> C[CleanDIFT
稠密语义特征]
  B --> D[语义一致性过滤
受限Sim3配准]
  D --> E[全局俯视几何图]
  C --> F[目标视觉参考相似度]
  A --> G[BLIP-2
图像文本相关度]
  F --> H[置信度加权语义融合]
  G --> H
  H --> E
  E --> I[SLIC候选区域
与可达图]
  I --> J[FMM局部路径]
  J --> K[前进或转向]
  K --> L{持续无进展}
  L -- 否 --> A
  L -- 是 --> M[视角恢复]
  M --> N[语义恢复]
  N --> O[几何探索]
  O --> A
      

2. 单目尺度初始化

VGGT 可以从不含标定深度的图像序列预测深度、相机参数和点图，但单目重建本身没有绝对米制尺度。作者利用已知相机安装高度 $h_{\mathrm{cam}}$，从初始地面点拟合平面。若拟合平面的单位法向为 $\hat{\mathbf{n}}_t$、偏移为 $\hat{b}_t$，则相机到地面的相对距离可由平面偏移得到，每帧尺度估计为：

$$ \hat{s}_t=\frac{h_{\mathrm{cam}}}{|\hat{b}_t|}. $$

只有地面支撑充分、法向合理、拟合残差足够小且尺度位于有效区间的帧才被保留。作者在多朝向初始化观察上取中位数，得到整段回合使用的初始尺度：

$$ s_0=\operatorname{median} \left(\left\{\hat{s}_t\mid t\in\mathcal{F}_{\mathrm{valid}}\right\}\right). $$

中位数降低了个别遮挡、错误地面分割和退化平面观测的影响。这个尺度随后乘到预测深度和点云上，使地图具有近似的米制参考。不过，一次性全局尺度无法消除后续帧的局部变化，这成为论文明确承认的误差来源。

3. CleanDIFT 语义一致性过滤

CleanDIFT 为图像每个像素提供去噪后的稠密扩散特征。候选三维对应关系来自几何匹配，系统计算两端特征归一化后的相似度，只有超过语义阈值的对应才继续保留。之后还要满足 VGGT 两端的几何置信度阈值。于是过滤条件同时要求“看起来语义一致”和“重建得足够可靠”，比只用几何一致性更能排除重复门框、弱纹理墙面等语义错误匹配。

保留的对应关系用于估计相邻帧的受限相似变换：

$$ \mathbf{x}_i^{t}\simeq s_{t-1,t}\mathbf{R}_{t-1,t}\mathbf{x}_i^{t-1} +\mathbf{t}_{t-1,t},\qquad \left|\log s_{t-1,t}\right|\leq\epsilon_s. $$

其中 $s_{t-1,t}$ 是帧间尺度，旋转属于三维正交群，平移为三维向量。对数尺度的上界限制了一次配准可以产生多大幅度的尺度变化。RANSAC 先提供初值，随后使用带置信度的鲁棒目标细化。若内点不足或尺度越界，系统保留上一帧位姿并暂停该帧地图融合。这种保守失败处理比把明显错误的配准强行写入地图更安全。

4. 指令分解与约束完成

语言模块先依据导航动词、顺序连接词、空间关系变化和句法结构寻找子指令边界，再由轻量语言模型规范化实体与关系。显式转向和相对移动被分开处理，后退指令转换为转向加前进，从而保持低层动作空间不变。每个子指令都绑定物体、地点或方向约束。当前子指令的完成状态写为：

$$ \chi_t^{\mathrm{done}}= \prod_{c\in\mathcal{C}_{k_t}}\operatorname{Sat}_t(c). $$

只有当活动约束全部满足时才推进到下一段。物体约束依赖 Grounding DINO 检测和 SAM 2 掩码，再把有效深度投影到世界系；地点约束使用视觉问答并维护进入、停留、离开等短时区域状态；方向约束把转向角与相对位移分开判断，避免原地旋转被误判为“向左走”。这种约束状态化处理减少了单帧分类阈值造成的过早跳段。

5. 双源语义值与时间融合

CleanDIFT 可以把当前图像与目标视觉参考关联起来，得到稠密视觉相似图；BLIP-2 则衡量当前局部图像与活动子指令之间的图文相关度。两者具有互补性。系统根据来源可靠度和权重融合：

$$ \mathbf{E}_t= \frac{\beta_aq_t^a\mathbf{A}_t+ \beta_bq_t^b\mathbf{B}_t} {\beta_aq_t^a+\beta_bq_t^b+\epsilon}. $$

其中 $\mathbf{A}_t$ 是视觉参考相关图，$\mathbf{B}_t$ 是图文相关图，$q_t^a$ 与 $q_t^b$ 表示来源可靠度。若某一来源暂时不可用，另一来源仍可生成证据。随后系统按几何有效性、观察方向、距离、表面和位姿可靠性调整置信度，并把历史语义值重投影到当前视角。

时间融合与置信度更新为：

$$ \mathbf{V}_t^{\mathrm{img}}=\mathbf{M}_t^{\mathrm{nav}}\odot \frac{ \widetilde{\mathbf{Q}}_t^{\mathrm{val}}\odot \widetilde{\mathbf{V}}_t^{\mathrm{img}} +\eta\mathbf{M}_t^{\mathrm{rep}}\odot \widehat{\mathbf{Q}}_{t-1\rightarrow t}\odot \widehat{\mathbf{V}}_{t-1\rightarrow t}} { \widetilde{\mathbf{Q}}_t^{\mathrm{val}} +\eta\mathbf{M}_t^{\mathrm{rep}}\odot \widehat{\mathbf{Q}}_{t-1\rightarrow t}+\epsilon}, $$

$$ \mathbf{Q}_t^{\mathrm{val}}=\mathbf{M}_t^{\mathrm{nav}}\odot \operatorname{clip}\left( \widetilde{\mathbf{Q}}_t^{\mathrm{val}} +\eta\mathbf{M}_t^{\mathrm{rep}}\odot \widehat{\mathbf{Q}}_{t-1\rightarrow t},0,1 \right). $$

导航掩码去除非可通行和前景遮挡像素，重投影掩码再排除越界、负深度和不一致位置。随着同一网格被多视角观察，语义特征与价值置信度逐步累积。目标子指令切换时，旧语义值会衰减而不是突然清零，因此先前探索仍有参考作用，但新目标获得更高优先级。

6. 地图、候选区域与动作生成

全局俯视地图保存可通行性、占据、探索、观察次数、语义值和稠密特征。地面支撑点进入可通行层，抬高结构进入占据层；同一格冲突时占据优先，以形成保守约束。动作一致性还提供额外监督：如果连续前进命令产生明显低于预期的视觉位移，则尝试方向附近的格子会增加占据证据。这条反馈让地图可以纠正“看起来能走但实际走不过去”的区域。

候选路径点只能在当前智能体所在的连通安全区域内产生。安全区定义为：

$$ \mathcal{R}_t=\operatorname{CC} \left( \left\{ \mathbf{x}\mid \mathbf{N}_t^{\mathrm{nav}}(\mathbf{x})=1,\; \mathbf{N}_t^{\mathrm{occ}}(\mathbf{x})=0,\; \operatorname{dist}(\mathbf{x},\Omega_t^{\mathrm{occ}}) >d_{\mathrm{safe}} \right\}, \mathbf{p}_t \right). $$

系统在安全区内使用语义增强的 SLIC 聚类形成区域，每个有效区域提出一个代表路径点。对候选区域平均语义值并选择最高者：

$$ J_t(\mathbf{w})= \frac{1}{|\mathcal{U}(\mathbf{w})|} \sum_{\mathbf{x}\in\mathcal{U}(\mathbf{w})} \mathbf{V}_t^{\mathrm{map}}(\mathbf{x}), \qquad \widehat{\mathbf{w}}_t= \arg\max_{\mathbf{w}\in\mathcal{A}_t^{\mathrm{wp}}} J_t(\mathbf{w}). $$

直接在像素峰值上选目标容易来回摆动，因此作者在区域级聚合语义值，并加入路径点滞回、历史回访抑制和终极目标细化。FMM 在可达网格上计算测地距离场，低层控制器朝短期目标转向或前进。中间路径点到达只触发重规划，不会误当作子指令完成；只有最终约束满足且进入目标邻域后才允许停止。

7. 失败检测与三级恢复

失败不是由一次碰撞直接判定。系统在短时间窗内监测无效前进、空间回访、航向震荡和路径点距离不下降，并用累积计数器过滤瞬时噪声。只有持续失去进展时才进入恢复。恢复先做当前视角的全景观察，重估目标位置与朝向；若仍不可靠，则清除当前目标专用语义证据，从最新观测重建物体、参考和图文相关度；最后若语义路径点仍不可达，则临时选择未知前沿进行几何探索。

三级恢复的层次很重要。第一步尽量不破坏已有假设，第二步修正感知，第三步才改变局部目标。整个过程中，全局几何图、长期语义记忆和历史轨迹继续保留。恢复成功后只清除临时规划状态，再刷新语义观察并回到中断的子指令。若多轮恢复均失败，回合才标记为不可恢复。

实验设计与主结果

实验在 Habitat-Sim 与 Matterport3D 室内场景中进行。作者从 R2R-CE val-unseen 的 11 个未见场景中各取 50 个回合，形成固定 550 回合子集。所有方法使用相同的成功半径 3 米和 150 个低层动作预算。LG-VLN 前台只接收第一人称单目 RGB，不读取仿真真值深度、位姿、语义分割或全局地图。评测硬件为单张 RTX 5090，软件环境为 Ubuntu 22.04。

主比较包含 NavGPT、Open-Nav、InstructNav、CA-Nav 和 LG-VLN。需要注意设置并不完全等价：NavGPT 使用预构造离散导航图，Open-Nav 使用全景 RGB-D 与任务相关路径点预测器，InstructNav 使用 RGB-D 和真值位姿，CA-Nav 使用 RGB-D 与实时里程计。LG-VLN 的差异在于仅依赖单目 RGB，并在线估计几何。

LG-VLN 的 21.3% 成功率与 CA-Nav 的 22.4% 接近，但后者的输入包含 RGB-D 和里程计。LG-VLN 的路径加权成功率是 12.1%，高于 CA-Nav 的 9.3%。这并不表示它在所有维度领先：Oracle 成功率只有 29.5%，比 CA-Nav 低 14.2 个百分点，说明更保守的探索策略较少让轨迹进入目标 3 米范围。另一方面，一旦找到可靠目标，较短路径带来的效率优势会在路径加权指标中体现。

NavGPT 和 Open-Nav 的成功率更高，但不能直接视为同等条件下的纯视觉优势。前者不在线执行连续观察导航，后者使用全景 RGB-D 和任务相关路径点先验。论文的合理结论应是：在严格单目输入和零任务训练的约束下，LG-VLN 能接近使用更多传感器的方法，但尚未建立普遍领先。

消融与几何误差

语义来源消融分别去掉 CleanDIFT 值图或 BLIP-2 图文相关。完整系统成功率为 21.3%；去掉 CleanDIFT 后降至 3.0%；去掉 BLIP-2 后降至 12.0%。这说明在当前值图与路径点选择流程中，稠密视觉参考是主要空间信号，图文相关提供额外指令约束。作者也提醒，这一结果只比较融合框架中的来源贡献，不能推广为基础模型独立能力的排名。

几何消融显示出另一种趋势。使用真值深度和位姿时成功率 24.9%，路径加权成功率 17.7%；使用预测深度和真值位姿时为 24.2% 与 15.2%；全部在线估计时降至 21.3% 与 12.1%。从预测深度切换到在线位姿造成的导航误差增加为 0.81 米，而从真值深度切换到预测深度只增加 0.24 米。因此，在这一系统中，在线位姿误差比深度误差更明显地影响最终停止位置。

深度误差本身呈现明显的尺度特征。使用整段固定尺度时，AbsRel 均值为 0.5874，中位数为 0.2643；逐帧中位对齐后均值降至 0.0493，中位数降至 0.0319。固定尺度结果右偏，说明少数尺度严重错误的帧拉高了均值，而多数帧的相对深度结构仍然稳定。Pearson 相关均值和中位数分别为 0.9107 与 0.9723，也支持“相对结构较好、全局尺度不稳”的解释。

位姿评估中，CleanDIFT 语义过滤把相对平移误差从 0.150 米降到 0.092 米，下降 38.7%；绝对轨迹误差仅从 0.322 米变为 0.318 米。这与方法作用范围一致：语义过滤主要改善相邻帧配准，没有直接优化整条轨迹的全局一致性。作者没有把局部改善包装成全局定位突破，这一表述较为克制。

计算开销与工程含义

作者报告 VGGT 每次调用约 178 毫秒，CleanDIFT 约 179 毫秒，Grounding DINO 与 SAM 2 合计约 602 毫秒，BLIP-2 图文匹配为 52 至 72 毫秒，地图更新与 FMM 规划约 86 毫秒。几何与稠密特征每帧运行，昂贵的检测、分割和图文匹配只在目标类别变化、子指令切换、恢复或视角显著变化时刷新。语义缓存必须属于当前活动子指令，避免上一阶段的目标继续污染当前值图。

即使采用事件触发，这套系统仍需要较强的并行计算平台。每帧同时运行重建与稠密特征，意味着普通低功耗机器人计算单元不能直接照搬实验配置。论文关注的是算法上界与可行性，还没有给出嵌入式延迟、功耗、内存峰值和长时间运行稳定性。工程部署时，这些指标与成功率同样重要。

局限性与审慎判断

第一，作者明确承认整段回合只使用一个初始全局尺度，页面中没有运行时的逐帧米制校正。帧间受限相似变换只能缓解局部漂移，不能恢复真实米制尺度。固定尺度的深度 AbsRel 均值远高于逐帧对齐结果，正是这一限制的直接证据。导航中的安全距离、成功半径和地图分辨率都依赖米制单位，因此尺度异常会传导到停止与恢复策略。

第二，主结果是在固定 550 回合子集上的单次运行。作者在结论中明确说，成功率差异相对较小，更强结论需要更多回合或重复实验。文章没有报告多随机种子均值、方差、置信区间和显著性检验，也没有报告不同初始化朝向、检测阈值或基础模型版本下的敏感性。对于基础模型组合系统，这些缺失会放大复现实验的不确定性。

第三，仓库目前只有脚手架，无法检查论文中的模块实现、参数默认值、地图分辨率、语义阈值、恢复计数器和评测适配。论文声称代码将公开，但当前提交不足以验证实验链路。论文正文与附录给出了较多实现细节，仍需把“描述足够详细”与“代码可复现”区分开来。

第四，比较设置混合了离散图、全景 RGB-D、任务训练路径点和连续单目等不同条件。作者在表格中标注了差异，也避免了无条件宣称全面领先，但固定子集由每个场景均匀采样，仍可能受到场景难度分布影响。更完整的结论应同时报告全 val-unseen、多个回合子集以及按场景分组的误差。

第五，系统依赖多个大型基础模型级联。论文测量了主要模块单次调用时间，但没有给出端到端每步延迟、GPU 显存、CPU 内存、失败分支额外开销和多进程调度影响。恢复会触发额外全景观察与语义重算，长时间失败回合的成本可能显著高于平均值。

总结与展望

LG-VLN 的价值在于把三个通常分散的设计选择放进同一闭环：单目在线几何、几何与语义共享的稠密特征、以及显式状态机恢复。实验说明，在不使用任务专用训练和额外传感器的情况下，系统可以获得约 21% 的固定子集成功率，并且 CleanDIFT 对语义值图和局部位姿配准都有实际作用。它还没有证明这一路线全面优于使用深度与里程计的系统。

后续工作最需要解决的是尺度随时间演化的问题。可以利用地面、相机高度、动作位移和地图闭环形成在线尺度一致性约束，同时报告尺度置信度对规划阈值的影响。其次是做重复实验与全量评测，并公开当前缺失的实现，让几何消融、语义消融和恢复策略在不同代码版本上可重建。只有这三项补齐，单目零样本导航的系统性结论才会从可行性展示走向稳定工程方法。

核心判断：这篇论文真正提出的是一条可检查的单目导航系统路线，而不是一个新的视觉语言基础模型。它最有价值的证据不是 21.3% 这个单点数字，而是共享特征同时改善几何匹配与语义选择、在线位姿误差比深度误差更影响最终停止这两个可继续验证的系统结论。