看见所需，想象所向：自构造表征空间上的导航基础模型

看见所需，想象所向：自构造表征空间上的导航基础模型

论文题目：See What I Need, Dream What I Want: A Navigation Foundation Model on a Self-Constructed Representation Space

作者：Jiawei Chen、Yinxi Wang、Zihan Yang、Meijun Gao、Yaowei Liu、Shuming Zhang、Zecheng Li、Xiangju Mi、Yuxuan Liu、Runzhong Huang、Tianlin Li、Xun Zhang、Zhengyang Wang、Xu Miao、Tong Yang。

论文来源：arXiv:2610.31762，2026 年 10 月 22 日提交第一版。论文页面提供完整正文、附录、训练细节和真实机器人实验。

项目与代码：项目主页已经开放；GitHub 仓库目前只有说明文件，明确标注论文与代码仍在准备中。因此本文不能据仓库虚构实现，只能讨论论文公开的方法与实验。

一句话总结

RepresentNav 用导航任务自身的梯度，从多个冻结视觉基础模型的不同深度层中构造一个紧凑表征空间，再在同一空间里预测未来四个时刻，让机器人先“想象”场景变化，再输出八个体素无关的平面航点。

图 1：论文首页给出的总览。左侧展示机器人在真实环境中跟踪指定人物，并从未来潜在状态中读回语义、占据与运动；右侧给出自构造表征、潜在推演和多个导航基准的结果。

研究背景与动机

导航策略首先面对一个表征选择问题。视觉观测包含墙面、地面、家具、人物以及机器人自身运动等大量信息，但真正影响下一步行动的内容会随任务变化：点目标导航关心可通行区域与目标方位，人物跟踪关心目标外观和运动趋势，语言导航还要把“经过灭火器后左转”之类的指令映射到空间结构。若所有任务都使用同一个最后层特征，视觉编码器在预训练阶段形成的偏好就会决定策略看见什么。

传统模块化系统常把建图、定位、语言理解和局部规划拆成独立组件。这类系统解释性较强，但每个模块的目标与最终导航误差并不完全一致。端到端视觉语言动作模型把任务误差直接传回策略，却通常只接入视觉主干的最终表示，或者把多个基础模型的输出一次性拼接。前者受预训练目标约束，后者把不同深度、不同模态的信息当作等权邻居。

导航基础模型常用的视觉主干各有强项。语义模型善于区分物体与场景类别，几何模型善于恢复深度和三维结构，动态模型善于提取随时间和运动变化的线索。它们的中间层并非简单冗余：浅层保留更多空间细节，深层包含更强的语义抽象。论文的关键观察是，导航任务需要的组合可能分布在同一张图的多个区域，也可能跨越不同模型深度，因此固定的最终层接口并不足够。

未来预测也面对相同的归属问题。已有潜在推理方法可能在文本词元、手工空间词元、图像像素或另一个生成模型的潜在空间中预测未来。若“看见”的空间与“想象”的空间不一致，导航头必须再次学习两者的翻译关系，未来监督也不一定直接改善策略真正使用的特征。

RepresentNav 把这两个问题合成一个闭环：先让策略从基础模型内部结构中选择并重组特征，形成自构造表征空间；再要求策略在上述空间内部预测未来状态。这样，导航误差既塑造当前表征，也塑造未来表征，潜在推演不是附加在策略旁边的通用预测器，而是与动作生成共享同一任务接口。

预备知识

论文把输入写成语言指令 $L$ 和来自 $N$ 个相机的历史图像 $I_{1:t}^{1:N}$，输出是当前机器人坐标系中的八个位姿。每个位姿包含平面位置和偏航角，即 $\tau=\{(x_i,y_i,\theta_i)\}_{i=1}^{8}$。八个航点共享一个规划头，点目标、跟踪和视觉语言导航都使用同一种动作接口，问答则作为正则化任务在同一主干上共同训练。

三个冻结的视觉基础模型分别提供语义、几何和动态先验。论文用 DINOv3 表示语义主干，用 Depth Anything 3 表示几何主干，用 OpenD4RT 表示动态主干。这里的“冻结”指源编码器参数不更新，并不是完全不用任务梯度：可训练的表征残差层会读取这些编码器的多层特征，并通过导航与未来预测损失改变各层特征的组合权重。

联合嵌入预测架构通常让在线网络预测目标网络产生的未来嵌入，并用反坍缩约束防止所有输入被映射到同一常数。RepresentNav 的目标不是外部图像生成器的潜变量，而是由自身表征层对真实未来观测计算出的状态。因此目标会随着表征学习同步移动，容易出现表征收缩；论文引入 VISReg，对目标的中心、尺度和形状分布施加约束。

方法详解

从多深度特征到自构造空间

对每条输入路径，RepresentNav 取三个基础模型全深度范围内的特征。设第 $l$ 个可训练残差层在空间位置 $p$ 上提出的查询为 $q_l$，第 $j$ 个候选特征为 $f_{l,j}(p)$。每个候选先做均方根归一化，再与查询计算相似度；偏置 $b_l$ 只加到零号候选上，为初始状态保留一条稳定的短路径。

$$\alpha_{l,j}(p)=\operatorname{softmax}_{j}\left[q_l^{\top}\operatorname{RMSNorm}(f_{l,j}(p))+b_l\mathbf{1}[j=0]\right]$$ $$\widetilde{f}_l(p)=\sum_{j=0}^{J}\alpha_{l,j}(p)f_{l,j}(p)$$

这两个式子说明，残差层不是把不同基础模型的最后输出串在一起，而是在每个位置动态选择深度与来源。注意力权重由当前导航样本、空间位置和层参数共同决定，因此同一场景中的墙面、家具和地面可以调用不同先验。论文只增加三层可训练变换器，计算成本远小于重新训练三个大型视觉编码器。

重组后的空间特征与一个可学习的状态词元共同经过三层网络。状态词元在此过程中关注空间特征，最终为每个相机视角汇总成一个向量。多相机输入先分别形成视角状态，再由拼接算子合成为未来目标。这个设计把高分辨率空间信息留在中间层，把每个视角压缩成适合语言模型和规划头消费的紧凑状态。

图 2：论文方法总览。左侧是三层表征残差从语义、几何和动态编码器的完整深度中读取特征；右侧展示多任务输入、四个潜在推演状态、规划头、问答分支以及未来表征监督。

把未来场景压入同一空间

给定真实未来观测，系统把前、右、后、左四个视角的状态拼接，再映射成目标向量。预测时刻依次为相对当前观测之后 0.4、0.8、1.2 和 1.6 秒。记 $G$ 为目标投影器，$c_{t+\Delta_k}^{v}$ 是未来第 $k$ 个时刻在第 $v$ 个视角上的状态词元，目标可以写成：

$$z_k=G\left(\operatorname{Concat}_{v\in(F,R,B,L)}c_{t+\Delta_k}^{v}\right),\qquad k=1,\ldots,4$$

这个式子的重点是，目标不是人工标注的深度图、语义图或占据栅格，而是当前表征系统对真实未来画面计算出的状态。未来有了一个与当前策略同坐标、同维度、同语义的目标，潜在预测才能真正改善后续动作所使用的接口。

四步潜在思维链

语言主干按自回归方式生成四个隐藏状态。第 $k$ 步状态 $h_k$ 读取任务上下文 $X$ 与此前状态，再经投影器得到预测目标 $\widehat{z}_k$。未来预测损失是四步平均平方误差：

$$h_k=\operatorname{LLM}(X,h_{<k}),\qquad \widehat{z}_k=\operatorname{Proj}(h_k)$$ $$\mathcal{L}_{\mathrm{wm}}=\operatorname{MSE}\left(\{\widehat{z}_k\}_{k=1}^{4},\{z_k\}_{k=1}^{4}\right)$$

四步潜在状态不是给人阅读的自然语言推理，也没有被强制解码成固定语义类别。它们是规划前连续更新的世界状态。论文通过冻结式探针从这些状态读回未来深度、语义、三维占据和机器人自身位移，以检查其中是否包含可验证的场景信息，而不是仅凭可视化说明“潜变量有意义”。

仅最小化未来预测误差会诱导表征坍缩：模型只要让所有输入的目标都接近同一向量，就能降低误差，却丢失可区分性。VISReg 将目标分布拆成中心、尺度和形状三个约束：

$$\mathcal{L}_{\mathrm{reg}}=\mathcal{L}_{\mathrm{center}}+\mathcal{L}_{\mathrm{scale}}+\mathcal{L}_{\mathrm{shape}}$$

因此训练目标同时包含导航轨迹、未来表征、反坍缩正则和问答：

$$\mathcal{L}=\lambda_{\mathrm{nav}}\mathcal{L}_{\mathrm{nav}}+\lambda_{\mathrm{wm}}\mathcal{L}_{\mathrm{wm}}+\lambda_{\mathrm{reg}}\mathcal{L}_{\mathrm{reg}}+\lambda_{\mathrm{qa}}\mathcal{L}_{\mathrm{qa}}$$

导航项比较归一化后的预测轨迹与专家轨迹，问答项是答案词元的交叉熵。两项看似任务不同，却共享语言主干、视觉状态和投影路径。共同训练让模型在学动作的同时保留视觉问答能力，也避免少量问答数据在总样本中被淹没。

flowchart LR
    A["RGB history
one or four views"] --> B["Frozen DINOv3
semantic features"]
    A --> C["Frozen Depth Anything 3
geometric features"]
    A --> D["Frozen OpenD4RT
dynamic features"]
    B --> E["Representation Residuals
three trainable layers"]
    C --> E
    D --> E
    E --> F["Learnable CLS
one state per view"]
    L["Instruction or goal"] --> M["Qwen3-VL LLM"]
    F --> M
    M --> G["Four latent states
0.4 to 1.6 seconds"]
    G --> H["Planning head"]
    H --> I["Eight waypoint poses"]
    G --> J["Projected future targets"]
    J --> K["JEPA loss + VISReg"]

方法流程图：图中的箭头对应论文的真实信息流。冻结视觉先验只提供多层候选特征，任务梯度经表征残差和状态词元进入；语言模型先生成四步未来状态，再由规划头生成八个位姿，未来目标与正则化共同约束该状态序列。

两阶段预测课程

第一阶段的注意力屏蔽把视觉前缀和语言前缀分开，让潜在状态同时读取两者，而动作位置只能读取语言与已经生成的潜在状态。这样一来，轨迹损失被鼓励通过潜在推演间接影响动作，模型必须学会从未来状态中提取对导航有用的内容。此阶段的损失权重为 $(\lambda_{\mathrm{nav}},\lambda_{\mathrm{wm}},\lambda_{\mathrm{reg}},\lambda_{\mathrm{qa}})=(0.01,0.1,0.9,1)$，明显偏向未来表征和正则项。

第二阶段从第一阶段初始化，恢复完整因果注意力。动作位置可以同时看到观测和预测，权重切换为 $(1,0.001,0.009,1)$，重点转向轨迹监督。两个阶段使用互不重叠的训练样本，各自从所有任务中均衡抽取。这个安排使模型先学会依赖潜在预测，再在实际可用全部观测时保留该预测路径。

论文从 Qwen3-VL-4B 初始化语言主干，新增表征残差、状态词元、规划头和两个投影器。三个视觉基础模型以及语言主干自身的视觉编码器始终冻结，其余新增部分参与训练。训练使用矩阵参数学习率 $10^{-3}$ 的 Muon 和其余参数学习率 $10^{-5}$ 的 AdamW，全局批量为 128，在 16 块 GPU 上总共训练 38,270 步。

训练数据约 508 万条，其中 252 万条来自 R2R 与 RxR 的视觉语言导航，50 万条来自 VLNVerse，67 万条为跟踪，100 万条为点目标导航，另有 39 万条视觉问答。所有导航任务统一成“历史观测或目标 + 未来航点”的格式。这样的数据配比让同一个输出头覆盖三类导航，同时保留足够的语言与场景监督。

实验设置与主要结果

实验覆盖五类导航场景：VLN-CE 的 R2R 与 RxR 未见验证集、VLNVerse 的细粒度与粗粒度未见验证集及完整测试集、EVT-Bench 的单目标与干扰目标跟踪、InternVLA-N1 的家居与商业点目标协议，以及要求无碰撞到达的室内 ABotN-PointBench。视觉语言导航使用导航误差、成功率、路径加权成功率和归一化动态时间规整等指标；跟踪使用跟踪率、成功率与碰撞率；点目标使用成功率与路径加权成功率。

基准与设置	核心指标	RepresentNav	对照与差值
VLNVerse 细粒度完整测试集	成功率	83.80	比 Qwen-RobotNav-8B 高 20.05 个百分点
VLNVerse 粗粒度完整测试集	成功率	59.00	比 Qwen-RobotNav-8B 高 12.41 个百分点
VLN-CE R2R 未见验证集	成功率 / 路径加权成功率 / 导航误差	71.1 / 66.6 / 3.75 米	多视角方法中的最佳 R2R 成功率
EVT-Bench 干扰目标跟踪，单相机	跟踪率 / 成功率	85.5 / 68.3	比最佳单目基线高 10.1 个跟踪率百分点
InternVLA-N1 点目标	平均成功率 / 路径加权成功率	95.0 / 86.7	比 SPAN-Nav 高 4.0 个百分点
ABotN-PointBench（全部场景）	无碰撞成功率 / 路径加权成功率	97.5 / 95.8	两项均比 ABot-N1 的 95.4 / 93.7 高 2.1 个百分点

表 1：论文主结果的选择性汇总。表中的成功率与路径指标均按原论文的百分制报告。最引人注意的是细粒度语言指令和单目动态跟踪同时取得大幅增益，这说明方法并非只改善单一任务接口。

在 VLNVerse 上，细粒度指令要求模型区分房间内的具体物体与转向线索，粗粒度指令更接近高层路标。RepresentNav 分别达到 83.80 和 59.00 的成功率，相较 80 亿参数的 Qwen-RobotNav 仍分别高出 20.05 与 12.41 个百分点。一个合理解释是，多深度先验保留了目标定位所需的几何细节，而语言条件决定注意力在何处调用几何与语义特征。

VLN-CE R2R 的结果更能反映连续动作误差。RepresentNav 取得 71.1 成功率、66.6 路径加权成功率和 3.75 米导航误差，是报告的多视角方法中最佳 R2R 成功率。RxR 的归一化动态时间规整与 Qwen-RobotNav-4B 同为 71.9，但后者在其他 RxR 指标上仍占优。论文没有把某条长路线指令的胜利扩大成所有语言导航子任务全面领先。

EVT-Bench 的单目干扰设置接近真实机器人常见约束。模型只使用一个相机时取得 85.5 跟踪率和 68.3 成功率，跟踪率高于所有多视角基线。多视角版本进一步升到 86.8，但 TrackVLA 系列在碰撞率上仍有优势。这个结果支持“未来潜在状态有助于目标运动预测”，也说明成功率、跟踪率与安全性不是同一个指标。

点目标实验给出两种不同压力。InternVLA-N1 的平均成功率为 95.0，说明跨家居与商业场景的动作接口具有泛化性；ABotN-PointBench 采用无碰撞成功判定，并按全部、低难度、高难度三组分别报告。RepresentNav 在全部场景的 All 列达到 97.5 成功率与 95.8 路径加权成功率，低难度组为 100 与 97.6，高难度组为 95.0 与 93.9。后者的严格要求使结果比单纯看终点误差更能说明规划头对未来空间状态的利用。

消融实验：收益来自哪里

论文首先只改变策略所看见的接口，不给未来预测监督。原生视觉主干的成功率为 79.65，拼接三个基础模型后升到 87.30，碰撞率从 40.80 降到 28.70。保持同样三个基础模型，改用三层表征残差后，成功率达到 93.45，碰撞率降到 18.05。也就是说，模型的收益并不只是“多用了三个大编码器”，而在于任务梯度能够重新选择它们的不同深度。

设置	成功率	路径加权成功率	碰撞率	观察
原生视觉主干，无未来推演	79.65	73.43	40.80	仅使用固定视觉接口
三先验直接拼接，无未来推演	87.30	80.20	28.70	增加先验，但组合方式固定
表征残差，无未来推演	93.45	84.28	18.05	多深度动态选择带来主要增益
完整两阶段 RepresentNav	95.00	86.70	13.45	未来预测进一步降低碰撞
去掉两阶段预测课程	92.40	83.68	15.15	完整观测下动作较少依赖潜在状态

表 2：自构造接口与未来预测的逐层消融。前两项比较先验数量，第三项分离多深度组合，最后两项衡量两阶段训练是否真正让动作路径经过未来状态。

完整模型相较无未来推演的版本继续把成功率从 93.45 提高到 95.00，把碰撞率从 18.05 降到 13.45。去掉 VISReg 后，成功率回落到 92.90，碰撞率升到 16.40，甚至差于不做未来监督的状态。这验证了反坍缩约束的必要性：没有它，预测器可以靠把未来目标压扁来降低误差，导致导航头拿不到可区分的信息。

单阶段模型达到 92.40 成功率、83.68 路径加权成功率和 15.15 碰撞率，完整两阶段模型提升到 95.00、86.70 和 13.45。论文进一步把输入潜在状态做跨场景替换或清零：两阶段模型的首个航点平均位移分别为 4.95 与 8.24 厘米，而单阶段模型只有 1.38 与 2.68 厘米。干扰后，两阶段模型相对参考轨迹的平均位移误差也从正常的 4.38 厘米升到 7.06 或 9.76 厘米，说明完整观测恢复后，动作仍会读取潜在预测。

还有一个容易忽略的对照是容量。把表征残差层从默认三层改成其他深度，成功率与路径指标的变化都控制在约 2.2 个百分点以内。因此自构造接口的优势主要不是多堆了几层参数，而是它改变了特征选择路径。这个消融回答了“是不是更大的网络自然更好”的质疑。

从“梦境”读回世界状态

论文冻结主模型，训练小型探针读取 $+0.4$ 秒潜在状态，并分别预测相机相对逆深度、语义类别、三维占据和机器人自身运动。未来 0.4 秒状态从来没有直接接受深度、语义或占据监督，但如果它只是无结构的任务向量，这些小探针应无法稳定恢复场景内容。

图 5：冻结模型后的探针结果。代表性画面显示，完全模型读出的未来深度、语义、占据和运动轨迹比直接对真实未来帧运行冻结主干更接近参考值。图像只作定性展示，完整测试集数字见表 3。

未来状态来源	深度平均绝对误差	占据交并比	语义平均交并比	自运动平均位移误差
OpenD4RT 作用于真实未来帧	0.10253	29.79	20.34	0.04713 米
表征残差状态，来自真实未来帧	0.07520	35.95	24.82	0.02962 米
无未来监督的潜在状态	0.10680	31.37	18.50	0.05149 米
完整 RepresentNav 的 $+0.4$ 秒梦境	0.09131	34.81	23.38	0.04448 米

表 3：未来潜在状态的可解码性测试。每项指标使用 1,000 个测试观测。梦境没有见过未来画面，但在占据、语义和自运动上明显优于无监督潜在状态，并接近直接处理真实未来帧的自构造状态。

占据结果最有信息量。完整梦境取得 34.81 交并比，高于测试中任何单一预训练编码器对真实未来帧的最多 29.79，也高于无监督潜在状态的 31.37。训练目标没有提供三维占据标签，因此这不是简单把已有占据输出复制进潜变量，而是导航与未来嵌入目标迫使状态保留空间结构。

在扩展跟踪测试集的 5,268 个观测上，完整模型的前视框交并由基线视觉主干的 33.69 提升到 72.81，平均精度指标从 8.67 升到 69.44。未来人物运动平均位移误差从 1.09701 米降到 0.44450 米，机器人自身运动误差从 0.33404 米降到 0.15455 米。跟踪定位、目标运动与自运动同时改善，说明潜在状态不是只编码某一项静态外观。

真实机器人实验

机器人平台包括四足机器人 Go2 和人形机器人 Bumi。Go2 搭载四个 SENSING GMSL2 相机以及带 NVIDIA Jetson Orin Nano 8GB 的 reComputer Robotics J3011。实际部署时，机载控制器把 RGB 图像发到运行 RepresentNav 的 RTX 4090 服务器，服务器返回预测航点，机载控制器再执行运动。推理并不在 8GB 边缘计算模块上完成。

图 14：硬件与部署。Go2 的四个相机和机载计算模块负责采集与执行，深度模型运行在外部 RTX 4090 上。原生 Qwen、增加表征残差以及完整模型的延迟分别约为 144.15、181.55 和 209.76 毫秒。

延迟结果解释了方法的工程边界。增加表征残差使推理从约 144 毫秒升至 182 毫秒，再加入潜在推演和规划后达到约 210 毫秒。对低速室内导航，这一频率仍可支持闭环，但它包含服务器推理，尚未覆盖网络抖动、图像传输和机载控制延迟。论文展示的是可工作的遥操作式计算架构，而不是完全机载的导航计算机。

图 15：三类真实任务的第一视角过程。每一行交替展示 RGB、目标或占据叠加和潜在状态读回，覆盖点目标接近、按语言路线行走以及持续跟踪移动目标。

定量真实实验包含 20 个语言导航案例和 20 个跟踪案例。RepresentNav 完成 14 个语言导航案例和 18 个跟踪案例，对比方法 Uni-NaVid 分别完成 7 个和 8 个。相较之下，成功率提高 35 与 50 个百分点。这个结果与仿真中的领先方向一致，但样本量仍然有限。

图 16：第三人称演示和成功计数。十二个语言指令覆盖人物跟随、绕过障碍、进入开放区域、走廊转向和门口进入等情形；右下角汇总语言导航与跟踪各 20 次测试的成功次数。

局限与边界

作者明确说明，这项工作只验证了导航。方法中的视觉先验是通用组件，表征空间由何种任务目标塑造取决于训练损失，但操作、灵巧手与人形全身控制都尚未测试。因此“任何机器人任务都能复用该空间”只能作为可检验假设，不能视为已有实验结论。

真实机器人证据只有 20 个语言导航案例与 20 个跟踪案例，且第二、第三人称图像展示的是选取后的过程。它们证明了系统能在真实环境中闭环运行，但不足以覆盖不同地面材质、拥挤人群、光照突变或长期漂移。量化成功数比纯定性视频更有力，统计置信区间仍较宽。

部署依赖外部服务器。RTX 4090 模型推理约 210 毫秒，但这没有计入无线网络和相机传输；Go2 的 Jetson Orin Nano 只承担机载控制。对于断网、强遮挡或需要毫秒级避障的任务，集中式推理会带来新的失效模式。

公开仓库目前没有代码或检查点。论文披露了训练数据规模、优化器、批量、步数和两阶段权重，但缺少可直接核对的数据清洗、未来目标生成、注意力屏蔽与探针训练实现。复现实验仍需等待作者发布工程细节，本文对代码层的讨论只能停留在论文描述。

未来监督窗口为 1.6 秒，使用四个离散状态。这个范围足以覆盖室内低速导航的短期变化，却不足以表达行人突然转向、长时交通参与者意图或多层空间规划。更多步长是否带来收益，以及误差会否沿潜在链累积，论文没有给出系统消融。

评测中存在不同来源的基线数字。论文注明表格中的基线来自各自引用工作，并非全部在同一实验中重跑。硬件、传感器配置、训练数据和评测细节的差异可能影响横向比较。主结论最有说服力的部分因此是同一模型内部的接口消融，而不是单个榜单百分点。

结论

RepresentNav 的核心贡献不是把多个视觉模型拼得更大，而是把“看见”和“想象”统一到任务可塑的表征空间。三层表征残差从语义、几何、动态先验的完整深度中做位置相关选择，学习所得状态为多任务导航提供紧凑接口；四步潜在思维链预测同一空间中的未来状态，并通过联合嵌入目标与反坍缩正则参与动作生成。

实验支持三个层次的主张。第一，同样三个基础模型经自构造接口组合后，明显优于固定拼接；第二，未来推演进一步改善成功率与碰撞率，且两阶段模型在完整观测下仍读取潜在状态；第三，单个梦境状态可以解码出从未直接监督的未来占据与自运动。真实机器人结果说明了部署可行性，但服务器推理、有限案例和尚未公开的代码仍是下一步必须补齐的证据。

机器人并非先拥有完整世界模型才学会行动；有效行动所需要的世界，也会在行动目标中被策略自己构造出来。