Long Range Navigator（LRN）：超越度量地图的机器人长程导航

问题定义与基本概念

论文考虑静态但未知的户外环境。机器人已知 GPS 定位与远距离目标点，除此之外不知道环境结构；它拥有一个只考虑有限视野的局部策略。局部策略接收观测并输出动作，以模型预测控制方式持续重规划。由于每个动作会改变观测，机器人执行后形成一条路径，优化目标是降低未知环境中到达目标的期望代价：

这里的 $\xi^{\pi}$ 是策略产生的路径，$\phi$ 表示一种未知环境实现，$C$ 是路径代价。公式表达的是：我们无法针对单一已知地图求最短路，而要在许多可能环境的分布上降低期望代价。LRN 并不直接求解这个完整问题，而是构造一个用于长程方向的中间变量。

设 $f$ 是局部规划视野 $H$ 边缘的一个前沿候选。若已知最优前沿 $f^{*}$ 位于最优路径上，并且局部策略在 $H$ 范围内足够好，那么让局部策略先前往 $f^{*}$ 就能把全局问题分解成一系列局部问题。这就是论文借用的最优子结构思想。真正的困难在于：$f^{*}$ 往往依赖当前传感器尚未看到的区域，因此只能估计，不能精确求出。

公式中的 $V(s,g,f)$ 是当前状态 $s$、目标 $g$ 下选择前沿 $f$ 的价值；$A(s,f)$ 表示该前沿的可通行程度；$D(f,g_t)$ 表示从前沿前往当前目标的代价。LRN 将复杂的长期价值拆成“这条路值不值得进”和“这个方向是否接近目标”两部分。它不是精确距离估计，而是把两个可学习或可计算的启发量相乘。

可通行分数 $A$ 又由两个概率组成。第一项要求从当前状态到前沿存在一条可行路径；第二项要求从该前沿继续到远处目标仍存在路径。第二项正是 LRN 相对普通局部可通行预测多出来的部分。只看第一项会奖励障碍边缘，只看第二项则缺少达到该处的现实性，两者相乘才能表达“进得去且接得上”的前沿。

最终，机器人选择价值最大的前沿，并把整个问题交回局部策略：

$F$ 是离散化后的前沿集合，$\pi_{\lambda}$ 是原有局部策略。第二个公式的含义很直接：LRN 不输出电机动作，只把选中的远处方向当成局部规划目标。这样，真实避障仍由成熟系统承担，长程启发也不会因为图像模型偶尔误判而直接跳过安全层。

方法详解

1. 为什么预测图像热点，而不是生成远处地图

若先把图像前沿反投影为三维点，就必须知道像素深度。在单目户外场景中，远处的树线、天空和地面可能具有相近纹理，深度误差会让点落到空中或障碍上。因此 LRN 改变中间表示：它在图像空间预测一条从机器人当前位置通向远处可通行开口的“轨迹热图”，再把热图的响应按相机内参投影成角度方向。

这个近似仍然有几何假设。图像的二维热点不等于真实三维位置，方法是把该方向上的射线延伸到局部视野边界，并假定热点附近到该边界之间具有清晰视线。论文通过真实行走轨迹和人工标签学习这种对应关系，而不是手工设计一个严格的几何约束。其工程含义是：LRN 输出的是值得尝试的方向，不是可安全无碰撞通过的精确路径。

2. 自动标注把行走终点变成前沿

训练热图需要知道画面中哪些位置代表“可走且可继续”的前沿。人工可以在每帧圈出树林缺口、坡顶和岔路，但成本高、规模小。作者的做法是拍摄第一视角步行视频，使用 CoTracker 在连续画面中追踪一组网格点；随后反向播放视频，从先前经过的位置追踪回视频起点，选择靠近相机前方的一组轨迹。

当追踪点在回到起点后发生遮挡时，说明该位置在起点视角中不是可见地面，而人在之后的行走中实际到达了这里。论文把这一图像点定义为可通行前沿，给高分 1；同一轨迹中其余经过区域给低分 0；没有轨迹覆盖的图像区域不参与损失。这样，视频只告诉模型“人后来实际走到了画面中的哪里”，不需要机器人位姿、深度或人工语义分割。

作者还发现，把前沿热点所在的竖直列标成负样本可以降低天空误检。原因在于单靠二维轨迹，热点上方与热点共享同一水平位置，模型容易把远处开口向上延伸成天空。加入竖直列约束后，网络更难把“可走的下方区域”和“不可走的天空”混为一类。这个细节说明弱监督的关键不只是标签位置，还包括如何抑制由投影歧义产生的系统性偏差。

3. 冻结视觉编码器，只训练轻量解码器

可通行前沿主干接收 RGB 图像，先由冻结的视觉基础模型编码，再用一个小型反卷积解码器恢复空间分辨率并输出热图。Spot 使用 MobileSAM 以适配 Jetson Orin AGX 的实时约束，12 吨履带车实验使用更大的 SAM2。这样做的核心不是追求新的分割网络，而是复用大规模预训练带来的外观鲁棒性，把学习负担集中到热图解码。

训练损失是热图目标与预测之间的均方误差，并加 L2 权重正则。记第 $i$ 个训练样本为 $(I_i,Y_i)$，模型为 $A_{\theta}$，则优化目标可写为：

公式中的 $Y_i$ 只在前景热点、负样本轨迹和人工标注区域上具有有效监督，大片未标注背景不产生损失。冻结编码器使训练更便宜，也保留了基础模型对光照、纹理和尺度的泛化能力；但论文没有证明这种设计对所有平台都最优。Spot 与履带车使用不同编码器、不同标签来源，实际系统仍带有较强的按平台调参成分。

4. 把二维热图投影成离散角度

在线运行时，LRN 对每个相机图像产生热图，再按相机内参把像素响应投射到绕机器人一周的离散角度区间。每个 bin 累加落入其中的响应，低于阈值 $h_{\mathrm{thresh}}$ 的 bin 直接归零；多个相机在重叠角度上取最大响应。设第 $t$ 帧得到 $k$ 个 bin 的原始分数向量 $\mathbf{b}_t$，先进行归一化：

归一化使不同画面的绝对热图强度具有可比性，避免某帧整体响应大就天然占据更高权重。随后使用指数移动平均抑制帧间抖动：

参数 $\alpha$ 控制当前观测与历史响应的比例。较小的 $\alpha$ 会让方向更稳定，但也会延迟对新开口的反应。Spot 和履带车实验均使用 $\alpha=0.1$，相当于当前预测只贡献 10%，历史累积贡献 90%。这能降低热图噪声，却也意味着快速转向或突然发现安全开口时，系统需要更多帧才能完成调整。

5. 目标方向与历史方向的双高斯重排

仅有可通行分数还不够，因为画面中可能同时有多个开口。目标条件头把目标方向转换为以目标角 $g$ 为中心、标准差为 $\sigma_g$ 的离散高斯向量：

它同时把上一时刻选中的方向 $f_{\pi}^{-}$ 转换为一致性向量：

最终对每个 bin 将可通行、接近目标和保持上一方向三种分数相乘，再取最大项：

$\odot$ 表示逐元素乘法。这个设计不是简单加权求和，而是让任一因子过低的方向都被明显压下去：一个方向即使很接近目标，只要可通行分数低就应被排除；一个开口即使很亮，只要偏离目标或导致频繁换向，也不应立刻被选中。它是启发式重排，不是对真实长期代价的概率推断。

为处理“接近目标后仍被远处开口吸引”的问题，Spot 在距目标 30 米内线性收紧 $\sigma_g$，到 12 米内完全改为直接朝向目标。履带车则在 75 米内恢复直接朝向目标。两套规则都说明 LRN 的可靠职责是扩展远景判断；目标已经近到局部系统足以处理时，继续保留探索启发反而可能造成绕路。

6. 与局部导航栈的接口

Spot 使用宽高均为 16 米的局部高程图，将坡度按规则转换为代价，并通过 lattice 上的 ARA* 规划路径。局部控制取路径前方 3 米的 carrot point 计算机身速度，再交给 Spot 内置运动系统。LRN 以 4 Hz 处理前后鱼眼相机，选出的方向被设置为局部地图边界之外的目标。

履带车系统使用半径 50 米的圆形代价地图，LRN 同时处理三个前视相机和一个后视相机。规划器在达到代价地图边缘、且角度接近给定方向时停止，因此仍保留局部绕障弹性。两种平台都没有把 LRN 变成端到端控制器，而是把它放在“长程方向选择器”的位置，这是论文最有工程价值的接口设计。

flowchart LR
    A[Ego-centric camera] --> B[Frozen SAM2 or MobileSAM encoder]
    B --> C[Small deconvolution decoder]
    C --> D[Affordable frontier heatmap]
    D --> E[Project to angular bins]
    E --> F[Threshold and EMA filter]
    G[Goal heading] --> H[Goal Gaussian]
    I[Previous heading] --> J[Consistency Gaussian]
    F --> K[Element-wise product]
    H --> K
    J --> K
    K --> L[Argmax heading]
    L --> M[Local metric map and planner]
    M --> A

流程图中的反馈只描述机器人不断获得新画面并重算方向，并不代表 LRN 保存了完整环境地图。它保存的是短时间内的方向分数和上一决策，空间信息仍由各平台的局部地图维护。这一边界也解释了后文关于“缺少历史记忆”和“可能来回切换”的局限。

训练数据与平台配置

Spot 的训练视频由人在两个半城市环境手持 Insta360 相机拍摄，总计 54 分钟。为了让 CoTracker 的长时追踪不因地面点漂移而失效，视频被切成 2 分钟片段，最终生成 92,711 个热图标签。训练目标来自前视和后视鱼眼图像，部署时也在相同类型相机上推理。人工没有逐帧标注这些数据。

履带车实验使用的是 LRN 较早版本，完全依赖人工标签。作者从加利福尼亚橡树草原收集 1,901 张图像，标注所有可通行前沿，并为正样本加入轻微高斯模糊，使热图边界更平滑。数据再经过颜色扰动、锐度变化、旋转和模糊增强，扩展到 11,406 张。关键点是：标注图像来自另一台履带车的前视相机，而部署平台有三前视和一后视相机，因此这项实验同时验证了跨车辆、跨相机配置的迁移。

两套系统共享方法结构，但阈值和高斯宽度不同。这说明 LRN 不是一个无需调节的统一模型，而是需要根据相机、局部地图范围和车辆动力学重新标定的导航组件。下表汇总论文给出的关键参数；这些参数不是可直接跨平台复制的默认值。

实验设计与主要结果

Spot 在三个半城市环境试验。Dump 的直线路径被一堵大墙截断，起点距目标 60 米；Night 需要绕过灌木墙并过桥，目标距起点 57 米；Helipad 的目标在开阔场另一侧，距离 82 米，中间有灌木带。每个方法每条路线运行 5 次，五种方法合计 60 次。作者另外在 Dump 用 5 组不同热图阈值各运行 5 次，形成 30 次阈值消融。

对照方法包括目标启发式、NoMaD 以及可通行性加单目深度的组合。目标启发式沿用 LRN 的目标条件头，只把可通行分数替换成均匀分布，因此二者差异可以更集中地归因于视觉可通行前沿。NoMaD 是端到端扩散策略，使用目标图像；可通行性基线则把可通行预测与 Depth Anything V2 的深度相乘，尝试选择远处可走热点。

评价指标包括总距离、总时间与人工干预次数。人工干预的定义并非所有局部控制失败：只有当机器人不前进、可能进入危险区域，或长程决策明显不合理时才介入。作者特意不统计局部感知漏掉障碍造成的问题，因为论文关注的是地图之外的长程方向，而不是底层避障模块。

Spot 结果显示，LRN 在 Dump 和 Night 的距离、时间与干预指标上均优于目标启发式，在 Helipad 上表现接近。相对 NoMaD 与可通行性深度组合，LRN 在多数场景更有竞争力，但并非每项指标都最低。尤其在 Helipad，预测方法频繁改变方向导致路径更曲折，LRN、可通行性深度和 NoMaD 的总距离都可能高于直接目标启发式。

更重要的是，LRN 在三个 Spot 场景均实现零人工干预，而其他对照方法至少出现过部分干预。该结果支持“更早识别远处障碍可减少接管”的论点，但不能等同于所有情况下路径更短。论文自己也指出，Helipad 的抖动来自开放环境中的多个热点，说明方向稳定性仍是系统瓶颈。

履带车实验是一条 660 米、跨三座山丘的路线，其中两座山丘有密集树林。由于试验窗口有限，每种方法只运行一次。目标启发式在第二座山丘直冲树线，之后又陷入下一个小山丘，需要 60 米人工接管。LRN 选择较开阔的通道，主动绕过危险树线；接近终点时被南向热点带偏，走了一段更远的路线，但最终仍在无人接管的情况下抵达。

下表给出履带车单次路线的完整运行指标。LRN 的平均速度和最大速度都更高，耗时也更长，原因是它绕开了密集树林，行驶距离从 941.79 米增加到 1435.09 米。不能把“零干预”和“最短路径”混为一谈：在这次试验中，LRN 的核心收益是避免危险区域和人工接管，而不是缩短里程。

表 I：履带车 660 米路线结果。LRN 走得更远、耗时更长，但速度更高且没有人工干预。

离线实验分别使用 Spot 330 张和履带车 315 张同环境但训练未见图像，并按 0.15 阈值把目标热图二值化。LRN 与人训练标签、自动标签以及可通行性深度基线进行 AUROC、F1、精确率、召回率、假阳率和假阴率比较。这个结果揭示了自动标签方法的两个侧面：Spot 自动模型的 AUROC 达到 0.93，说明排序能力很强；但其 F1 只有 0.10、精确率 0.06，说明选定阈值后真正落在前沿上的响应仍然稀少。

表 II：离线热图分类指标。人工标签总体优于自动标签，作者把差距归因于 CoTracker 轨迹误差引入的标签偏差。

阈值消融进一步给出方法边界。阈值接近 0 时，几乎所有方向都被视为可通行，机器人会像目标启发式一样直线冲入局部陷阱；阈值接近 1 时，可行方向过少，机器人只能在直行目标和偶发热点之间跳变。Dump 场地上中间值 0.7 表现最好，作者从 0 到 0.7 拟合斜率，报告可通行质量与行驶距离之间存在相关性（$p < 0.05$）。但这是单一场地的 30 次试验，不能外推成所有环境的统一最优阈值。

泛化实验有三条证据。第一，Spot 模型由人的步行视频训练，却用于四足机器人；第二，履带车模型来自另一辆相似平台的前视相机；第三，Spot 只在白天数据上训练，却在部分夜间场景中仍能工作。作者把泛化主要归因于冻结视觉基础模型和与目标无关的中间表示，但明确承认监督学习仍最擅长训练分布附近的环境。

局限与失败模式

作者自述的第一项局限是 LRN 不显式推理深度。当两个热点相对目标方向的角度接近时，模型无法判断哪一个在三维空间中更靠近目标，只能把角度差当作距离代理。在 Helipad 和履带车这类开阔、热点较多的场景中，这会造成偶发游走。作者提出未来可加入稀疏深度，或者检测到目标距离非平滑变化时暂时回退到目标启发式。

第二项局限是热图分数的帧间波动会导致机器人在两个相差很大的方向之间切换。归一化、EMA 和上一方向高斯都只能缓解，不能消除问题。本文的两套系统都用固定高斯宽度，尤其履带车靠近目标后仍保留较大的目标高斯，导致终点前可能被侧向热点带偏。更完整的做法是学习带历史输入的目条件头，而不只依赖手工滤波。

第三项局限来自自动标签。CoTracker 在长视频中可能漂移，遮挡边界或目标点定位的小误差会把高分放到开口附近的障碍上。Spot 模型因此表现出“过度乐观”，可能把靠近障碍的边缘判断为可通行。人工标签在离线指标上明显更好，说明提高自动轨迹质量或过滤坏标签仍有直接收益。

最后，LRN 本质上仍是未知空间探索启发式。一个当前视角看起来很好的前沿，可能在实际抵达后发现通向死路或不可继续地形；没有历史地图记忆时，机器人既不保证全局最优，也不能可靠回溯到此前的好热点。作者明确把稀疏深度和前沿记忆列为后续工作，这意味着本文展示的是“扩展局部视野”的可靠起点，而不是完整的长程自主导航终局。

独立来看，实验覆盖也有需要谨慎解释之处。Spot 有 60 次主实验和 30 次消融，但集中在三个场地；履带车虽然平台差异大、路线达到 660 米，却只有每种方法一次运行，无法估计方差或置信区间。两套平台使用不同标签、不同视觉编码器和不同参数，因此很难把性能差异单独归因于自动标签或模型规模。跨平台泛化结论应理解为工程可行性证据，而不是统计意义上的普遍保证。

离线指标同样不能只看 AUROC。Spot 自动标签的排序能力很高，但固定阈值后的精确率和 F1 很低，说明最热点附近只有少量像素与人工前沿重合；系统之所以仍能工作，是因为下游把热图聚合到角度 bin，再做目标重排与时间滤波，最终只需相对排序合理，不必逐像素精确。评价这类中间表示时，分类指标应与闭环干预、路径稳定性和任务完成率一起看。

讨论与工程启示

LRN 的设计选择对机器人系统开发者有两点直接启发。首先，模型输出的抽象层级应匹配下游消费者：局部规划器需要的是一个方向和边界之外的目标，不需要一张完整且可能错误的远景三维地图。只要中间表示能区分“值得先走的开口”，就能减少长程近视，同时保留局部安全控制。

其次，弱监督的价值在于把数据采集从机器人转移到人。普通第一视角视频可以告诉模型哪些地面后来被实际到达，但不会告诉模型那里是否真正安全、是否存在后退空间或是否适合具体车辆。它适合训练“场景中的可通行线索”，不适合替代车辆动力学、障碍检测和局部风险估计。LRN 把这些风险继续交给底层系统，正是其能够跨平台试验的原因。

从研究路线看，最值得补上的不是更复杂的图像分割，而是空间和时间记忆。显式深度可消除同角度不同距离的歧义，历史前沿地图可避免反复选择已失败方向，并在死路时支持回溯。若把这些信息加入目标条件头，LRN 可能从单帧启发式演化为轻量拓扑记忆，同时保留当前方法对未知环境的快速反应能力。

结论

论文提出的核心问题不是“如何把局部地图做大”，而是“长程导航究竟需要保存什么”。LRN 的答案是：保存少量可通行前沿及其方向价值即可。作者用无标注第一视角视频训练热图主干，再利用目标和历史方向进行离散重排，把结果叠加在 Spot 与 12 吨履带车的现有导航栈上。实验表明，LRN 能提前绕开远处危险地形，在两套平台的主要测试中减少或消除人工接管，并支持人类步行数据到机器人的跨具身迁移。

同时，自动标签噪声、缺乏深度、方向抖动和无记忆探索仍是明确瓶颈。论文最有说服力的地方，不在于宣称解决了完整户外自主导航，而在于把“局部地图之外该往哪里看”定义成一个可学习、可部署且能与现有规划器协同的中间问题。代码和数据尚未公开，也让这些结果暂时难以被独立复现；项目页所承诺的后续发布将是检验工程可用性的关键。