ScaleNav：可扩展网络视频预训练与语言局部导航

一句话总结：ScaleNav 先用海量互联网第一视角视频学习“朝文字指定目标移动时，场景应当怎样变化”，再借助少量带动作的仿真数据把这种视觉动态先验接到可执行动作块上，从而在局部导航中获得更强的场景泛化能力。

为什么局部导航仍需要新的数据路径

论文把任务限定为“局部导航”：机器人在初始视角中已经能够看到文字所描述的目标，只需要完成接近、对准和停止，不需要先在整栋建筑里搜索目标。这个设定比长程视觉语言导航短，但它保留了机器人应用中非常实际的一组能力，包括理解“左边第二扇门”“冰箱旁的蓝椅子”这类带属性和空间关系的指令，保持跨视角的目标一致表示，以及在接近目标后可靠停下。

传统的端到端导航策略可以从仿真中学习动作，但仿真画面的纹理、光照、相机响应和接触动力学与真实世界存在差距。完全依赖真机采集又很难覆盖足够多房间、视角和语言表达。互联网第一视角视频恰好位于两者之间：它们是在真实环境中拍摄的，数量大，包含人类持相机走向物体的自然运动，却通常没有机器人可执行动作、相机外参和车身运动标签。

ScaleNav 的核心判断不是“直接从网络视频模仿动作”，而是把视频中的相机接近过程当作视觉动态监督。模型先学习指令、当前画面、历史画面与未来画面之间的因果关系，随后再用仿真中的动作块把这种表示约束到机器人控制空间。这个拆分很重要：网络视频负责扩大视觉经验，仿真数据负责给出动作语义。

问题定义与动作表示

论文定义单个动作包含平面位移和偏航角变化：

$$a_t=(\Delta x_t,\Delta y_t,\Delta\psi_t)$$

其中 $\Delta x_t$ 和 $\Delta y_t$ 是上一帧机器人局部坐标系中的平面位移，$\Delta\psi_t$ 是朝向变化。若干连续动作组成动作块：

$$\tau=(a_1,\ldots,a_T)$$

主实验使用 $T=9$，视觉观测为 $512\times288$ 的彩色图像，采样频率为 4 赫兹。模型一次预测未来九个动作，并在模拟器中依次执行这些动作。执行期间会收集新的真实观测；每完成一个动作块，就用最新观测重建历史并预测下一块。仿真评估中的动作历史保存模型上一轮预测值，而不是模拟器测得的真实位移，这一点对复现实验协议很关键。

任务中的文字、初始画面和持续到来的观测共同决定下一步。仅看当前帧不足以区分同类别物体，也无法保持长时序方向感，因此模型需要显式的历史接口。ScaleNav 保存两类信息：第一帧锚点用于持续解释“左边第二扇门”这类相对初始视角的描述；最近两个动作块用于维持局部运动连续性。二者共同构成噪声自由的历史条件。

统一世界动作模型的内部结构

ScaleNav 以 Wan2.2-TI2V-5B 为视频生成底座，并在同一个扩散变换器上增加动作嵌入层和动作预测头。未来视频先由变分自编码器压缩为潜变量 $z_0^v$，动作块经过尺度化对称对数变换后形成 $z_0^a$。两类表示都被加入噪声并转成令牌，然后与语言指令、当前观测和历史令牌一起送入共享主干。

视频和动作不是两个彼此独立的网络。它们共享扩散变换器的参数，因此视频预训练得到的空间结构、物体外观和时间变化知识可以直接进入动作分支。与此同时，两种模态保留独立的噪声采样、引导尺度和输出头，避免强行把像素生成误差与动作尺度混在同一个损失里。

视频侧的流匹配加噪过程为：

$$z_{t_v}^{v}=(1-t_v)z_0^{v}+t_v\epsilon^{v}$$

模型输出速度场 $v_\theta^v$，目标是恢复从干净潜变量指向高斯噪声的速度：

$$\mathcal{L}_{\mathrm{video}}=\mathbb{E}\left[\left\|v_\theta^v-(\epsilon^v-z_0^v)\right\|^2\right]$$

动作侧使用相同形式的加噪与回归，但动作有自己的噪声等级 $t_a$：

$$z_{t_a}^{a}=(1-t_a)z_0^{a}+t_a\epsilon^{a}$$

$$\mathcal{L}_{\mathrm{action}}=\mathbb{E}\left[\left\|v_\theta^a-(\epsilon^a-z_0^a)\right\|^2\right]$$

当批次同时含视频与动作监督时，论文没有手工固定两个损失的权重，而是根据当前批次损失动态计算：

$$\mathcal{L}=(1-\lambda)\mathcal{L}_{\mathrm{video}}+\lambda\mathcal{L}_{\mathrm{action}}$$

$$\lambda=\operatorname{sg}\left(\frac{\mathcal{L}_{\mathrm{video}}}{\mathcal{L}_{\mathrm{video}}+\mathcal{L}_{\mathrm{action}}}\right)$$

其中 $\operatorname{sg}$ 表示停止梯度。该权重只调整优化方向，不会让网络通过操纵权重本身来降低总损失。动作输出还需要反归一化。论文使用参数 $c=0.01$ 米与 $0.01$ 弧度的尺度化对称对数变换：

$$f(u)=\operatorname{sign}(u)\log\left(1+\frac{|u|}{c}\right)$$

推理端使用：

$$f^{-1}(z)=c\operatorname{sign}(z)\left(\exp(|z|)-1\right)$$

这组变换能压缩极端位移和转角对回归损失的支配，同时保留小动作的分辨率。对局部导航而言，零点附近的分辨率尤其重要，因为机器人靠近目标后的微小移动和停止判断都发生在这一范围内。

因果分块注意力与历史缓存

视频生成模型常用双向注意力一次生成完整片段，但机器人控制必须随着新观测不断重规划。ScaleNav 将序列切成连续块，每个块内部仍允许双向注意力，当前块只能访问之前已完成的干净块。第一帧锚点和最近历史作为无噪令牌进入键值集合，当前带噪块不会反过来改写历史。

开源实现中，CausalChunkSelfAttention 明确采用块因果掩码，并通过静态键值缓存复用历史。历史范围由“永久第一帧锚点、最近块、当前查询”共同决定。代码还主动拒绝特殊记忆令牌，说明论文所说的记忆不是额外学习的一组压缩槽位，而是原始干净视频与动作历史。这个细节支持了可解释性：模型看到的历史与部署端保存的观测序列一一对应。

推理时，历史令牌的噪声等级固定为零，也不参与当前块更新，因此其键和值可以只计算一次。条件分支与无条件分支还能合并成批，再配合 CUDA 图和关闭视频像素解码来降低延迟。四步去噪下，单个动作块调用从 1791 毫秒降到 684 毫秒；因为每次调用输出九个动作，摊销到每个执行动作约为 76 毫秒。

三阶段训练如何连接视频与动作

第一阶段只在互联网第一视角视频上训练。每段视频配有一条导航指令，模型根据当前观测和历史预测未来画面。为了不让数据分布变化与预测结构变化同时发生，作者先用 Wan 原始的双向图文转视频目标训练 2000 次，再切换到块级因果预测训练 8000 次。整个阶段不输入动作令牌，代码中的训练目标也会在发现动作样本时直接报错。

第二阶段引入仿真动作标签，但只训练动作嵌入层、动作头以及扩散变换器内部的自注意力层。其余视频主干保持冻结，目的是让随机初始化的动作模块先学会读取已经存在的视觉表征，而不是一开始就用动作梯度覆盖互联网视频学到的动态先验。此阶段训练 2500 次，并保留 10% 的互联网视频回放，只用视频损失更新共享视觉能力。

第三阶段解冻剩余扩散变换器模块和视频头，用同一联合目标进行 6500 次微调，互联网视频回放比例提高到 20%。这一阶段解决的是“动作可执行”与“视觉预测稳定”之间的折中：如果完全冻结视觉主干，动作分支可能无法充分适配机器人控制；如果过早全量更新，网络又可能忘记互联网视频中的相机运动规律。

flowchart LR
    I[互联网第一视角视频] --> V1[第一阶段：指令条件视频预训练]
    V1 --> P[导航视觉动态先验]
    S[带动作标签的仿真片段] --> A[第二阶段：动作对齐]
    P --> A
    A --> J[第三阶段：视频与动作联合微调]
    R[互联网视频回放] --> A
    R --> J
    J --> M[共享视频动作模型]
    M --> C[九个动作组成的动作块]
    C --> E[执行并采集新观测]
    E --> H[首帧锚点与最近两个块]
    H --> M

训练配置体现了明显的分阶段设计。视频预训练全局批量为 64，峰值学习率 $1\times10^{-5}$；动作对齐同样使用批量 64 和学习率 $1\times10^{-5}$；联合微调把批量降为 32，峰值学习率降为 $5\times10^{-6}$。这些数字来自附录表 4，而不是从仓库默认值推测。

互联网视频和仿真数据怎样构造

互联网视频来自约 6 万段室内第一视角候选片段，原始场景标注由 SpatialVID-HQ 提供。作者每隔固定时间抽取关键帧，交给视觉语言模型寻找“相机已经到达一个可描述物体附近”的终点，再向前搜索目标首次清楚出现的关键帧作为起点。随后生成“前往……”形式的指令，并检查目标与指令一致性、运动是否真的朝向目标、终点是否足够接近，以及片段中是否有硬切。

过滤后留下约 1.82 万段无动作导航视频。标注过程依赖 Gemini 3.5 Flash，视觉语言模型同时负责终点识别、指令生成和候选质量审查。论文还分析了只靠这种数据直接估计伪动作的做法：Depth Anything 3 被用于估计相机位姿并生成动作，但结果在 HabitatGS-LN 上只有 73.9% 成功率，甚至低于完全不使用互联网视频的 90.4%。作者认为位姿估计噪声会把错误动作直接写入监督信号，因此互联网视频更适合先学视觉动态，而不是被当作廉价机器人轨迹。

仿真数据来自约 1000 个 InteriorGS 场景，筛除渲染质量差或语义标注不足的场景后，使用 650 个场景生成约 2600 个回合。起点从导航网格上的可通行区域采样，目标由初始视野和实例语义确定。离线二维规划器结合 A 星搜索、机器人足迹碰撞检查和轨迹时间重参数化，生成平滑路径，再以 4 赫兹采样图像并把相邻全局位姿转换成前车体系动作。

两类指令都会经过改写，以增加表达多样性但保持目标、属性和空间关系不变。仿真侧还利用实例级三维包围框、房间布局和初始画面，把“椅子”细化为“初始视角中冰箱旁的蓝色椅子”。这一流程比简单拼接物体类别与固定句式更可靠，但它仍然把大量语义正确性交给了视觉语言模型，人工审核规模和错误率是论文没有充分量化的部分。

仿真实验设置与比较对象

第一个评测是 Short-Horizon OVON 的单视角改版。原数据针对三视角设计，作者只保留初始前视中目标可见比例至少为 50% 的回合，最终得到 36 个 HM3D 场景、524 个回合。这里的可见比例按目标语义网格顶点投影计算，不是目标在图像中占的像素比例。由于视角筛选和评测协议都被修改，结果不能与原始三视角榜单直接比较。

第二个评测是作者构建的 HabitatGS-LN，包含 45 个留出的 InteriorGS 场景和 157 个回合。每条指令指向一个具体实例，考察模型能否利用属性与空间关系区分同类物体。所有方法最多执行 200 个动作；只有当机器人自行停止，且机身足迹到目标足迹的最小距离不超过 1.25 米时才算成功。评测不会用目标真值距离替模型触发停止。

比较对象包含 NavDP、ApexNav、StreamVLN 和 Uni-NaVid。为了把前两种目标导航方法接到语言条件任务上，作者先用 LocateAnything 定位指令目标。NavDP 还使用模拟器提供的真值深度把初始检测反投影成固定世界坐标目标；ApexNav 则用定位结果替换原本的类别检测器。这些依赖使比较并非完全同等的信息条件，阅读表格时应把深度和外部定位模块视为额外输入。

原论文表 1：仿真环境成功率、路径效率与摊销推理延迟

方法	OVON SR	OVON SPL	HabitatGS-LN SR	HabitatGS-LN SPL	每动作延迟
LocateAnything + NavDP	74.4%	37.2%	82.8%	61.0%	184 毫秒
LocateAnything + ApexNav	73.3%	64.1%	75.8%	66.8%	511 毫秒
StreamVLN 零样本	61.1%	51.2%	48.4%	40.0%	87 毫秒
StreamVLN 仿真微调	79.6%	62.9%	75.8%	59.5%	未单独给出
Uni-NaVid 仿真微调	80.2%	68.1%	82.2%	71.6%	未单独给出
ScaleNav 不使用互联网视频	81.1%	65.5%	90.4%	80.8%	未单独给出
ScaleNav	86.5%	71.3%	94.9%	86.1%	76 毫秒

ScaleNav 在两个仿真基准上都取得最高成功率和路径加权成功率。更值得关注的是与自身“无互联网视频”版本的对照：动作标注仿真数据完全相同，加入互联网视频后，OVON 成功率提升 5.3 个百分点，HabitatGS-LN 提升 4.5 个百分点。这个消融比跨模型排名更能支持论文的核心假设，因为它尽量固定了动作数据和训练流程。

消融实验揭示了哪些真正有效部分

表 2 的第一项结果尤其有信息量。作者把 Depth Anything 3 估计出的相机位姿当作伪动作，直接与仿真动作混合训练，成功率降到 73.9%。相比之下，完全不使用互联网视频的模型有 90.4%。这说明“网络视频越多越好”并不成立，错误的动作监督会主动破坏策略；视频内容必须先经过适合其标签质量的学习目标。

如果让互联网视频参与第二和第三阶段，但不设置独立第一阶段，成功率保持 90.4%，路径效率只从 80.8% 提升到 83.1%。完整三阶段训练把成功率推高到 94.9%。作者据此认为，专门的视频预训练阶段对获得可迁移导航先验是必要的。这个结论与代码实现一致：视频预训练阶段会明确拒绝动作样本，动作对齐和联合微调阶段才允许混合视频回放。

原论文表 2：HabitatGS-LN 上的数据利用与组件消融

版本	视频预训练	伪动作	首帧锚点	动作对齐	视频回放	SR	SPL
不使用互联网视频	否	否	是	是	否	90.4%	80.8%
伪动作训练	否	是	是	是	否	73.9%	67.1%
无独立视频预训练	否	否	是	是	是	90.4%	83.1%
去掉首帧锚点	是	否	否	是	是	89.8%	83.1%
去掉动作对齐	是	否	是	否	是	93.6%	85.1%
去掉视频回放	是	否	是	是	否	94.3%	84.2%
完整模型	是	否	是	是	是	94.9%	86.1%

去掉首帧锚点后，成功率从 94.9% 降到 89.8%，说明指令所依赖的初始空间参照确实不能只靠最近历史替代。跳过第二阶段动作对齐只损失 1.3 个百分点，去掉回放只损失 0.6 个百分点，二者在 157 个回合上的差异都较小。作者把它们描述为“适度收益”是准确的；仅凭这组消融，不能断言所有部署环境都需要完全相同的阶段划分。

真机部署与结果

真机平台是 Unitree Go2 四足机器人，前方安装 Intel RealSense D435i 相机，机载 Jetson 负责采集图像，推理则发送到远程 RTX 4090。机器人系统把预测出的平面位移和偏航变化转换成车体系线速度与角速度：

$$v_t^x=\frac{\Delta x_t}{\Delta t},\qquad v_t^y=\frac{\Delta y_t}{\Delta t},\qquad \omega_t=\frac{\Delta\psi_t}{\Delta t}$$

每次动作对应 $\Delta t=0.25$ 秒。实验覆盖展厅、开放休息区和办公区，每个环境四个任务，每个任务五次试验，因此每种方法共 60 次。成功由人工按照与仿真相同的停止和足迹距离标准判定。

原论文表 3：Unitree Go2 真机成功率

方法	展厅	休息区	办公区	总体
StreamVLN 微调	25.0%	60.0%	40.0%	41.7%
Uni-NaVid 微调	60.0%	75.0%	20.0%	51.7%
ScaleNav 不使用互联网视频	75.0%	60.0%	60.0%	65.0%
ScaleNav	85.0%	85.0%	80.0%	83.3%

真机总体成功率比不使用互联网视频的版本高 18.3 个百分点，也比两个微调基线高至少 31.6 个百分点。结果方向和仿真一致，但样本量较小：每个环境只有四个任务，每个任务五次，某一类目标或一次障碍遮挡就可能让统计结果出现明显波动。论文没有报告置信区间，也没有给出失败类型分布，因此这组结果足以支持“可部署”的早期证据，还不足以证明在广泛室内环境中的稳定性。

视频预测能力是否真的转向目标

附录把原始 Wan2.2 与第一阶段 ScaleNav 放在相同初始帧和相同导航指令下比较。原始生成模型倾向于生成与导航无关的人物活动，镜头接近静止；ScaleNav 的块级自回归生成则出现朝向红色目标框的相机运动。这个定性比较说明，互联网视频预训练改变的不只是视觉质量，而是“下一段画面应当如何响应指令”的条件分布。

不过，模型预测出朝向目标的变化，并不自动保证动作分支一定采用正确轨迹。论文的主要证据仍来自闭环成功率与消融；视频示例是机制解释，不是独立的因果验证。若要进一步确认“动作确实读取了未来视觉表征”，需要增加干预实验，例如遮蔽特定视频潜变量、比较动作头内部注意力，或在相同动作数据下系统改变视频预训练分布。

开源实现中的可复现接口

公开仓库已经给出模型、训练目标和推理服务的关键接口。论文与代码能够对应起来的第一处是分块注意力：src/awm/models/causal_chunk_ar_model.py 实现块级因果掩码、首帧锚点、最近历史以及静态缓存；代码直接禁止特殊记忆令牌，与正文所述连续历史一致。第二处是训练阶段：src/awm/training/objective.py 的 set_trainable() 决定哪些模块解冻，balanced_loss() 实现按损失比值计算的动态权重，视频预训练还会拒绝任何动作字段非空的批次。

第三处是运行链路：src/awm/training/pipeline.py 把视频预训练组织为两个连续阶段，再执行动作对齐和联合微调；src/awm/scripts/awm_policy_server.py 暴露连续历史、静态键值缓存、CUDA 图和关闭视频解码等部署开关。仓库规模不能只看权重文件：官方页面列出的 ScaleNav 检查点约 10.02 GB，Wan2.2 基础模型约 14.20 GB，原生训练模型约 34.20 GB，完整训练数据下载与准备约需 36.10 GB 和 153.04 GB 磁盘。复现者需要提前评估显卡显存、存储和下载时间。

独立分析：优势来自哪里，边界在哪里

第一项优势是数据目标的分工。互联网视频为模型提供真实场景和自然相机运动，仿真提供动作标签，二者没有试图互相替代。伪动作消融清楚说明，从视频估计动作再直接监督策略会把位姿误差放大成控制误差。ScaleNav 选择让视频监督只作用于视觉动态，是一种更符合数据质量的训练设计。

第二项优势是历史结构服务于指令语义。局部导航的目标往往用初始视角中的相对位置描述，最近两帧画面无法长期保存“左边第二扇门”的参照。永久首帧锚点与短滑动窗口组合，既控制注意力长度，也保留任务定义所需的空间基准。去掉锚点后成功率下降 5.1 个百分点，验证了这一结构不是单纯的工程缓存。

第三项优势是推理优化与动作块设计匹配。单次策略调用仍需 684 毫秒，但九个动作连续执行后，平均每个动作只需 76 毫秒。该数字不包括模拟器渲染、网络通信和电机执行，因此不能直接当作端到端反应时间。真机又依赖远程 RTX 4090，网络抖动、断连和机器人侧运动控制延迟都没有进入论文表格。

作者明确承认的局限是：定量评测只覆盖室内环境、初始可见的物体目标，尚未评估室外场景和区域级目标。这个边界很重要，因为区域目标通常需要更大的探索范围，初始视角也不一定包含完整目的地。论文虽然把“物体或区域”写进任务描述，但两个主要基准和真机任务主要用物体实例验收，区域导航能力没有单独量化。

另一项独立限制来自评测生态。HabitatGS-LN 由同一团队构建，只有 157 个回合，且评测脚本、指令审核和基线适配都掌握在作者一侧。Short-Horizon OVON 使用单视角子集和统一停止规则，也不能与原始三视角结果横比。跨方法排名应视为该论文协议内的结果，而不是公开榜单上的无条件结论。

数据审核同样值得关注。互联网片段和仿真指令都依赖视觉语言模型生成与筛选，论文说明了审核提示词和四类判据，但没有给出人工抽检比例、标注者一致性或按场景类型的错误率。对于“第二扇门”“冰箱旁的蓝椅子”这类要求精确空间指代的任务，少量错误标注就可能让模型学习错误的初始参照，因此数据质量应成为后续复现报告的一部分。

资源成本也限制了方法的普及。十 GB 级检查点、十四 GB 级基础模型和远程高端显卡意味着它更适合作为研究平台或服务端策略，而不是当前就能完全机载运行的低成本方案。作者的四步去噪和缓存优化已经显著降低摊销延迟，但停止判断、相机采集、无线传输和低层运动控制仍未纳入同一端到端时延预算。

这项工作最重要的启示

ScaleNav 提供了一条比“把互联网视频伪造成动作数据”更稳健的路线：先学习导航过程应该怎样改变视觉世界，再用可信动作数据把视觉变化映射为控制。它把视频生成模型从离线内容生成器改造成带记忆的预测骨干，同时保留了动作头的轻量适配路径。

论文的证据链最强处在同一动作数据下加入互联网视频的对照，以及首帧锚点与伪动作的消融；最弱处在小规模同团队基准和真机样本。后续工作若能在独立场景、区域目标和更长任务上复现，并报告网络中断、失败恢复、标注错误率和机载能耗，ScaleNav 这类世界动作模型才可能从研究演示走向稳定产品。

论文原文：https://arxiv.org/abs/2610.25690。项目页：https://zju3dv.github.io/ScaleNav/。代码：https://github.com/MachEmbodied/ScaleNav。