三维点世界模型：点云补全提升动力学学习精度

作者：Skand Peri、Hung Nguyen、Chanho Kim、Li Fuxin、Stefan Lee。 单位：俄勒冈州立大学。 论文： arXiv:2607.00148，首次公开于 2026 年 6 月 30 日，当前分析版本为 2026 年 10 月 7 日的 v2。

项目与代码： 项目页为 pvskand.github.io/3dpwm； 代码仓库为 github.com/pvskand/3dpwm。 精读时的仓库快照只有许可证与说明文件。说明明确写着“代码即将发布”，因此本文可以核对模型描述和实验结论， 但尚不能借助官方实现复现具体网络层、损失项或规划器细节。仓库采用 MIT 许可证。

一句话总结：先把单视角 RGB-D 中的物体补成完整三维点云，再学习动作条件下的逐点速度， 三维世界模型的长程滚动误差、规划成功率、未见任务组合能力与真实机器人迁移效果都会明显改善。

图1：系统从单视角 RGB-D 与机器人关节角构造观测，先补全物体几何，再在三维点空间中进行动作条件轨迹滚动和规划。

研究背景与动机

机器人在物理世界中行动，不能只理解当前画面，还要预测动作会怎样改变场景。基于世界模型的控制器正是围绕这一需求展开： 模型接收当前观测与候选动作，预测未来状态，再由规划器评估多个未来并选择动作。对于抓取、堆叠、清理和装载这类需要多步接触的操作， 世界模型的价值不在于生成一张好看的未来图像，而在于预测物体中心、接触位形、遮挡区域和末端执行器位置能否支持可靠决策。

过去常见的二维视频世界模型可以直接学习复杂外观，却容易出现两类问题。其一，生成的未来帧可能视觉上合理， 但其几何并不符合真实物理约束；其二，真实机器人需要把视频中的运动反解成关节或末端动作，而从观测变化推断动作本身存在歧义。 物体质量、摩擦和夹持状态都可能让相似画面对应不同控制量。二维像素预测把“看见什么”和“怎样控制”绑在一起， 但二者并没有天然的一一对应关系。

二维模型加入深度、法向等 2.5D 信息后，几何约束有所增强，推理仍主要发生在二维特征图上。 同一场景从不同视角得到的深度和表面朝向可能互相矛盾，模型仍要隐式学习三维一致性。更重要的是， 现实中的单视角观测只能看见物体的一部分。如果动力学网络直接接收残缺点云，它不仅要学习物理，还要同时猜测被遮挡的几何。 在长程滚动中，一次错误猜测会被下一次预测继续使用，误差迅速积累。

另一条路线直接使用点云、粒子或高斯表示构建三维世界模型，预测结果比二维视频更容易对应真实空间。 但这些方法通常仍以部分点云为输入，遮挡越严重，物体背面与接触区域越难估计。仿真中虽然能取得完整网格点云， 一旦部署到真实相机，可见点减少，训练与测试的几何分布就发生明显变化。论文抓住的正是这一错位： 训练时完整、部署时残缺，会使模型在仿真里学到的动力学难以迁移。

作者的主张不是让世界模型独自隐式补齐几何，而是把几何补全做成显式前置步骤。单视角深度先被分割并反投影为物体部分点云， 再由补全模型恢复完整物体形状，最后与由正运动学生成的机器人末端点云合并。完整几何随后进入任务无关的动力学模型。 这样一来，同一个动力学网络可以在仿真中使用网格真值点云训练，在现实中使用补全点云推理，减少训练和部署之间的输入差异。

问题定义与预备知识

每个时刻的输入观测由机器人本体感知和单视角深度组成。设关节角为 $\mathbf{q}_t$，RGB-D 相机给出场景的部分点云。 系统先把部分观测变成完整观测 $\mathcal{O}^{\text{complete}}$，再学习状态转移 $\mathcal{T}:\mathcal{O}^{\text{complete}}\times\mathcal{A}\rightarrow\mathcal{O}^{\text{complete}}$。 动作 $a_t$ 位于末端执行器的增量动作空间。目标是让转移模型与采样规划器配合，在当前观测下预测多条候选未来的成本， 再执行其中较优的一段动作。

点云世界模型要求点在时间上保持对应关系。设第 $t$ 帧第 $j$ 个点位置为 $\mathbf{x}_{t,j}$， 当前速度为 $\mathbf{v}_{t,j}$，上一帧速度为 $\mathbf{v}_{t-1,j}$。仿真数据通过刚体变换与规范坐标采样保持点身份， 所以可以直接构造逐点监督。真实场景若没有这种真值对应，则需要点跟踪来连接相邻帧。 这与只比较两个无序点集的倒角距离不同：论文监督的是“同一个点移动了多少”，而不只是“两个形状看起来有多接近”。

规划部分采用模型预测控制与 MPPI。系统在每一步采样大量动作序列，用世界模型展开候选未来， 在预测点云上计算任务成本，再将高权重候选动作按指数权重聚合。由于观测空间本身就是三维点云， 成本可以直接写成末端点到物体的距离、物体中心到目标点的距离或物体与障碍物的接近程度。 这种接口接近仿真器的奖励函数，而不是依赖像素级图像相似度。

方法详解

1. 从单视角图像得到可用于动力学的完整场景

系统首先根据任务描述让视觉语言模型找出与任务有关的物体，并输出物体可见区域内的二维提示点。 这些提示点随后交给 SAM3 做开放词汇分割。对每个物体掩码，系统结合标定后的深度图将像素反投影成三维部分点云。 相比直接对整幅深度图做补全，按物体分别处理能让补全网络专注于物体自身形状，也便于后续把物体点云与机器人点云组合成场景。

补全模型以 ShapeNet 预训练权重为起点，再用 YCB 物体数据微调。作者特别指出，所用补全模型不需要预先知道完整物体的中心， 这使它适用于真实抓取场景，因为相机只能看到物体的一部分，完整中心并不是可直接观测的量。 原始补全数据流程会把物体对齐到固定的直立方向，而操作中的物体可能任意旋转， 因此作者在预训练和微调阶段都加入绕三个坐标轴的旋转增强，并加入随机抖动模拟深度传感器噪声。

深度预处理还包括边界噪声清理与中值滤波。前者针对物体轮廓附近容易出现的飞点，后者抑制同一物体内部的随机深度噪声。 这些处理看似是工程细节，却直接影响补全输入是否落在训练分布内。真实深度相机在反光表面和遮挡边界处的错误， 会先污染部分点云，再被补全网络放大为错误体积，最终改变动力学预测中的质心与接触位置。

机器人自身的几何不由相机补全，而是根据关节角与 URDF 通过正运动学生成：

$$\mathbf{P}_{t}^{\text{robot}}=\mathrm{FK}(\mathbf{q}_{t},\mathrm{URDF})$$

由于动作定义在末端执行器坐标系，作者只对末端网格采样，而不把整条机械臂都送入动力学模型。 最终场景点云是末端点云与所有任务相关物体完整点云的并集：

$$\mathbf{P}_{t}=\mathbf{P}_{t}^{\text{robot}}\cup\bigcup_{\text{obj}}\mathbf{P}_{t}^{\text{obj}}$$

这一组合刻意保留“机器人从哪里接触物体”和“物体完整形状是什么”两类信息。只给物体点云，模型不知道动作源； 只给末端点云，模型又不知道被操作对象在遮挡一侧还有多少体积。两者合并后，动力学网络才能在统一的几何空间中推理接触与位移。

图2：系统由点云补全与点动力学两部分组成。补全阶段融合机器人正运动学点云和物体补全点云，动力学阶段预测逐点速度。

flowchart LR
    A[单视角RGB-D与关节角] --> B[VLM生成物体点提示]
    B --> C[SAM3分割任务相关物体]
    C --> D[深度反投影为部分点云]
    D --> E[ShapeNet预训练与YCB微调的补全器]
    A --> F[URDF与正运动学生成末端点云]
    E --> G[合并完整场景点云]
    F --> G
    G --> H[PTV3编码逐点几何与速度]
    H --> I[动作嵌入与寄存器交叉注意力]
    I --> J[自注意力传播动作影响]
    J --> K[逐点速度解码与递归展开]
    K --> L[MPPI在点云观测空间评估候选动作]
    L --> M[执行动作并读取新观测]
    M --> A
    

图注：该流程对应论文特有的“显式补全后动力学”结构，不是将补全器与规划器作为互不相关的模块拼接。 补全后的几何直接决定后续速度预测和成本评估。

2. 用位置与历史速度编码点的运动状态

对每个点，网络不只读取三维坐标，还读取当前速度和上一时刻速度：

$$\mathbf{F}_{t}=[\mathbf{x}_{t},\mathbf{y}_{t},\mathbf{z}_{t},\mathbf{v}_{t},\mathbf{v}_{t-1}]$$

位置告诉网络物体在哪里，当前速度告诉它正在怎样运动，上一时刻速度则提供短时惯性信息。 $( \mathbf{P}_t,\mathbf{F}_t )$ 被送入 Point Transformer V3 编码器。 编码器通过局部邻域与分层下采样获得点特征 $\mathbf{z}_t\in\mathbb{R}^{M\times d}$，其中 $M$ 是下采样后的点数， $d$ 是每个点特征的维度。

附录给出的瓶颈特征维度为 $d=256$，输入点数通常在 200 到 400 之间，具体取决于网格分辨率与场景复杂度。 正文称四个编码阶段的深度都从默认配置减小为每阶段两层，但附录总表列出的编码与解码深度为 `[2,2,2]` 与 `[2,2]`，两者在记录形式上并不完全一致。由于官方训练代码尚未开放， 复现时不能只依赖这张表，需要等待代码或作者补充说明。论文明确且可复用的一致信息包括： 交叉注意力与自注意力各三层、每层八个头；解码得到 128 维逐点特征；速度头是四层 MLP。

3. 让动作只影响相关点，再传播到整个场景

动作本身是一个低维向量，不能直接加到每个点的特征上。作者先用小型 MLP 将动作编码：

$$\mathbf{z}^{\text{act}}_{t}=\mathrm{MLP}(a_t)$$

然后把动作嵌入与一个可学习的寄存器 token 作为键和值，把下采样点特征作为查询，执行交叉注意力：

$$\tilde{\mathbf{z}}_{t}=\mathrm{CrossAttn}([\mathbf{z}^{\text{act}}_{t},\mathbf{reg}],\mathbf{z}_{t}), \qquad \mathbf{z}'_{t}=\mathrm{SelfAttn}(\tilde{\mathbf{z}}_{t})$$

这个设计的直觉很具体。动作只应直接影响机器人附近的点，远处物体此刻可能完全不受末端运动约束。 如果所有查询都必须从动作嵌入取信息，远处无关点也会被强制收到动作信号。寄存器 token 提供了一个“无需关注动作”的键， 使任务无关点可以忽略动作。交叉注意力之后的点自注意力再把局部动作影响传播到与机器人相邻、可能发生接触或遮挡关系的点。

消融实验显示寄存器 token 不是可有可无的装饰。在没有寄存器时，PickYCB 的倒角距离为 0.052， 加入一个后降到 0.028；MugCleanup 更从 0.178 降到 0.022。第二个寄存器只带来很小增益， 因此作者在所有主实验中使用一个。这个结果支持了“动作条件需要选择性注入”的解释， 也说明高容量点云骨干并不能自动解决动作与无关点之间的错误耦合。

4. 预测逐点速度，而不是直接生成新点云

解码器将点级特征恢复到原始分辨率，再由 MLP 预测下一时刻每个点的速度 $\hat{\mathbf{v}}_{t+1}$。 新点云通过把预测速度加到当前坐标得到：

$$\hat{\mathbf{P}}_{t+1}=\mathbf{P}_{t}+\hat{\mathbf{v}}_{t+1}$$

这种残差式表示把网络任务限定为预测运动增量。物体整体平移、局部旋转和末端夹爪移动都可以写为点速度场， 网络无需从零生成每个新位置。由于训练点具有跨时间对应关系，速度预测可以直接与真值比较， 不必通过倒角距离先做最近邻匹配再反向求梯度。

长程预测通过递归调用同一动力学模型实现。第 $t+i$ 步的几何与特征状态为：

$$ (\hat{\mathbf{P}}_{t+i},\hat{\mathbf{F}}_{t+i}) = (\hat{\mathbf{P}}_{t+i}, [\hat{\mathbf{x}}_{t+i},\hat{\mathbf{y}}_{t+i},\hat{\mathbf{z}}_{t+i}, \hat{\mathbf{v}}_{t+i},\hat{\mathbf{v}}_{t+i-1}]) $$

当前预测速度会成为下一次输入中的历史速度，因此误差也可能沿时间递归传播。 论文不是只在单步预测上训练，而是让动作序列诱导的网络本身展开 $H$ 步，对整段预测速度施加 Huber 损失：

$$\mathcal{L}=\frac{1}{H}\sum_{h=1}^{H}\mathrm{Huber}(\hat{\mathbf{v}}_{t+h},\mathbf{v}_{t+h})$$

Huber 损失的阈值设为 0.25，优化器为 AdamW，学习率为 $10^{-4}$，每 30 个周期把学习率乘以 0.1。 多步损失让网络在训练时就面对自己产生的中间状态，而不是只拟合一步真值输入。 随着监督长度从 3 增加到 15，PickCube 的倒角距离从 0.068 降到 0.009， MugCleanup 从 0.102 降到 0.022。代价是训练时必须串行展开更长轨迹，计算时间随之增加。

5. 数据增强与规划接口

动力学训练数据来自专家示范，同时以 0.2 的概率在某一步后改为执行随机动作。这样会产生一部分成功、一部分中途失败或碰撞的轨迹， 让模型看到偏离专家分布后的状态。它比全程随机动作更有针对性：训练样本仍从目标任务附近开始， 但会覆盖抓取失败、物体被推开和机械臂碰撞等对规划器重要的边界情况。

在仿真中，完整点云不是靠相机补全得到，而是从物体和机器人网格采样。为了高效保存数据，作者只在规范坐标系采样一次点云， 其余时刻保存刚体变换矩阵，再按轨迹回放生成对应点。这既减少存储，又保持每个点在时间上的身份，可直接计算速度。 真实世界则需要分割和补全来近似同一表示。

MPPI 每次采样 200 条候选轨迹，保留前 64 条更新动作分布，噪声标准差为 5，规划长度通常为 20 到 30 步。 规划器在补全点云上计算任务成本。以抓取为例，末端中心点到物体中心的距离被用于接近项， 物体中心到目标的距离被用于放置项。由于模型没有显式接触状态，实际执行时把末端与物体中心距离不超过 2.5 厘米视为抓取成立：

$$\lVert\mathbf{tcp}_{t}-\mathbf{c}_{t}\rVert\leq 0.025\ \mathrm{m}$$

这个阈值简化了接触判定，也暴露了方法的边界。真实接触应同时考虑夹爪开合、局部几何和法向， 而仅用中心距离会在细长或偏心物体上产生误判。作者把显式接触建模列为未来工作， 这比把点云预测与接触动力学混为一谈更诚实。

实验结果

1. 长程滚动精度覆盖两类末端执行器

实验使用七个数据集，覆盖 Franka 平行夹爪与 GT-1 灵巧手两类本体。平行夹爪任务包括 PickCube、StackCube、 PickYCB 与 MugCleanup；灵巧手任务包括 BoxCleanup 与 DrawerCleanup。PickYCB 涉及 78 个 YCB 物体， 对几何补全和规划泛化都更有挑战。所有方法观察测试轨迹的前三帧点云，之后依据真实动作序列滚动预测。

评价使用两项互补指标。倒角 $L_1$ 衡量预测点集与真值点集的整体几何差异； 奖励相关性 $r$ 则把滚动点云送入任务奖励函数，再与仿真真值奖励比较。后者更接近规划所需的信息， 因为整体形状看似接近时，关键工具中心点或物体质心仍可能偏离，导致规划器选择错误动作。

任务	平均滚动长度	PF+ 倒角距离	部分三维点世界模型	PointWorld	完整三维点世界模型	本文奖励相关性
PickCube	66	0.080	0.085	0.071	0.009	0.86
StackCube	99	0.090	0.097	0.094	0.014	0.83
PickYCB	143	0.089	0.089	0.064	0.028	0.85
MugCleanup	336	0.130	0.132	0.174	0.022	0.79
BoxCleanup	218	0.132	0.149	0.211	0.022	0.83
DrawerCleanup	274	0.273	0.246	0.351	0.058	0.77

最醒目的不是本文在短任务上略好，而是差距随遮挡和任务长度扩大。PickCube 上，本文相对 PF+ 的倒角距离从 0.080 降到 0.009； MugCleanup 上从 0.130 降到 0.022。PointWorld 在较短的平行夹爪任务上仍具竞争力， 但在 MugCleanup、BoxCleanup 和 DrawerCleanup 上明显退化。这说明部分点云模型即使骨干更强， 仍需要把容量用于猜测不可见几何；当遮挡持续存在、滚动变长时，这部分隐式猜测不稳定。

奖励相关性也呈现同样趋势。本文在六项任务上的 $r$ 值都高于基线，说明补全带来的改善不仅是点集整体更接近， 还能让被成本函数使用的关键几何量更可信。不过相关性并非完美，DrawerCleanup 的 0.77 仍表明长程灵巧操作里存在明显误差， 不能把较低倒角距离直接等同于可靠的物理仿真。

图3：紫色为真值轨迹，青色为模型滚动轨迹。后续每一帧均以上一帧预测点云与真实动作作为输入，故误差会递归传播。

2. 规划既测试闭环反馈，也测试开环代理仿真能力

闭环规划在 PickCube、StackCube 与 PickYCB 上进行。每次运行最多执行 100 个时间步， 每步用 200 个 MPPI 样本与长度 10 的预测展开评估候选动作。研究者还比较了真值补全、学习补全、 PF+、部分三维点世界模型以及仅用正运动学的解析基线。真值补全提供上界，用于区分“动力学模型是否有效”与“补全误差是否拖累规划”。

实验设置	PickCube	StackCube	PickYCB
闭环规划，真值补全	88%	约 78%	约 60%
闭环规划，学习补全	下降约 2 到 10 个百分点，具体依任务而定	下降约 2 到 10 个百分点，具体依任务而定	下降约 2 到 10 个百分点，具体依任务而定
开环规划，部分点云基线	1/20，即 5%	0%	0%
未见任务适配：MugCleanup	75%	不适用	不适用
未见任务适配：Coffee	60%	不适用	不适用
未见任务适配：CoffeePreparation	45%	不适用	不适用

使用真值补全时，本文在三个任务上的成功率随复杂度从 88% 降到约 78% 和约 60%。 改用学习补全会增加噪声，尤其使较难任务下降 2 到 10 个百分点。这个下降并不是全盘失败， 而是说明补全模块已经从“仅能可视化”接近“可用于规划”。正运动学基线在 PickCube 与 StackCube 上也表现不错， 因为简单物体和较短的接触过程可以由几何接近关系解释；到了包含 78 种物体的 PickYCB， 解析基线明显落后，说明学习交互后果的价值主要出现在对象多样、接触更难手写的场景。

开环设置更能检验世界模型作为“代理仿真器”的能力。系统只看初始点云，一次规划整段动作，没有中途视觉纠错。 PF+ 与部分点云模型基本失败：PickCube 仅 1/20 成功，其余任务为零；本文即使使用学习补全仍保留非零成功率。 开环成功说明其预测不是依赖频繁回看真值来修正，而是能在内部维持一段可执行的未来。

3. 未见长程任务与真实机器人迁移

作者先在 MugCleanup 与 Coffee 两个较短任务上训练动力学，再组合到 CoffeePreparation。 后者要求把杯子放到咖啡机处、从抽屉取胶囊、装入并关闭盖子，是明显更长的任务序列。 本文在 MugCleanup 与 Coffee 上分别为 75% 与 60%，组合任务为 45%； PF+ 在短任务已经预测错误，到组合任务完全失败。结果说明补全带来的几何稳定性可以支撑一定程度的任务组合， 但组合过程仍损失成功率，误差来自执行与预测的累积，而不是单纯的训练不足。

真实实验使用 Franka Panda、平行夹爪与 Intel RealSense D455 单视角相机。相机外参对齐到机器人与 ManiSkill2 坐标系， 目标物体由视觉语言提示和 SAM3 分割，再经 YCB 微调补全器恢复完整几何。动力学直接部署仿真中最好的 PickYCB 检查点， 没有进行真实数据微调；规划采用 30 到 50 步开环滚动并分块执行。每个“方法—任务”组合测试 10 次。

PickDrill 成功率为 60%，PickApple 为 40%，PlaceApple 为 80%；PF+ 在前两项约为 0% 与 0%， 在放置任务约为 70%。放置任务对两侧方法都较容易，因为盘子提供较大的支撑区域。 差异主要出现在抓取：如果模型只看到苹果或电钻面向相机的一侧，质心与夹持区域会被系统性低估， 补全后的体积使动作诱发的物体运动更容易被正确预测。作者报告，真实实验剩余失败主要来自有偏的质心估计与分割、补全误差。

图4：左侧为从两个已见任务组合到 CoffeePreparation 的适配结果，右侧为 PickApple、PickDrill 与 PlaceApple 的仿真到现实迁移。

4. 训练开销与部署时延

训练一块 L40 显卡需要 12 到 24 小时，数据量越大、动作维度越高，耗时越接近 24 小时。 在单张 RTX 4090 上，规划一个动作约需 1.07 秒。开销主要来自逐点、逐步的点云滚动， 而不是一次前向就能得到整段未来。真实任务通过 20 个动作的块状开环规划，执行完再重新观测， 用分块方式控制等待时间。

这一速度对低速桌面操作可以接受，对快速动态操作还不够。逐点观测空间虽然提高了几何可解释性， MPPI 又需要评估大量候选，因此每次规划都包含重复的多步点云推理。论文提出可用支持分块多步预测的 CUDA 核、 或更低维的参数化动作表示降低时延，但这些仍是后续工程问题，不是当前实验已经解决的收益。

设计消融

论文重点消融两个选择：寄存器 token 数与训练展开长度。下表数值越低越好，来自三个代表性任务： PickCube 考察短程简单抓放，PickYCB 考察多物体泛化，MugCleanup 考察长程遮挡与物体交互。

任务	寄存器 token 数			多步监督长度 H
	0	1	2	3	5	10	15
PickCube	0.013	0.009	0.009	0.068	0.038	0.021	0.009
PickYCB	0.052	0.028	0.027	0.161	0.117	0.044	0.028
MugCleanup	0.178	0.022	0.020	0.102	0.036	0.028	0.022

寄存器从 0 增到 1 的收益最大，说明动作条件的关键难点不是容量不足，而是缺少让无关点避开动作的机制。 第二枚寄存器只在 PickYCB 与 MugCleanup 上带来 0.001 到 0.002 的改善，因此作者选择只用一个。 多步监督长度从 3 增加到 15 后，三个任务都持续改善，且长任务 MugCleanup 从 0.102 大幅降到 0.022。 这不是单纯把训练时间拉长，而是训练目标与推理时的递归使用方式对齐。

表中也给出一个值得注意的对比：PickCube 在 $H=10$ 时已有 0.021，而最终为 0.009，短任务仍能受益于更长监督； MugCleanup 在 $H=5$ 时已降到 0.036，但继续到 15 仍能减半附近误差。 这说明多步损失同时改善短期拟合与长程稳定，而不只是针对某一个固定滚动长度的过拟合。

局限性

第一项限制来自分割。真实实验中，SAM3 对部分遮挡或被夹爪握住的对象偶尔无法稳定分割。 作者明确报告，在 12 次失败中，有 4 次属于这一来源。物体一旦漏分割，补全器就没有输入， 动力学模型也会把它当作不存在，后续规划无法通过更高层推理自行恢复。

第二项限制来自补全数据分布。训练补全器时，每个 YCB 物体从球面 100 个随机视角渲染深度， 但每次只包含单个物体，没有其他物体的场景级遮挡，也没有真实深度传感器在边界和反光表面上的完整噪声分布。 作者报告 12 次真实失败中有 5 次来自补全。这个数字说明补全既是主要收益来源，也是当前最脆弱的接口。

图6：上排为苹果与芥末瓶的部分点云补全成功案例，下排为电钻与苹果的失败案例。失败常表现为体积偏移、边界外飞点或错误恢复。

第三项限制是模块级联。视觉语言模型、SAM3、深度反投影、点补全、动力学网络与规划器依次相连， 前一级的错误无法由后一级显式纠正。论文的模块化带来可替换性，却也使系统对相机标定、深度质量、提示词与物体外观敏感。 若把补全误差放大到质心，规划成本可能给出错误排序，即使倒角距离只小幅变化。

第四项限制是速度与任务类型。逐点递归滚动不适合高频动态控制，分块开环主要适用于准静态桌面操作。 此外，模型没有显式接触状态，抓取判定依靠 2.5 厘米距离阈值，接触力、摩擦和滑动都没有进入状态转移。 这使其很难直接覆盖高动态抛掷、灵巧手内操作或强接触装配。

最后，论文的方法有效性主要建立在补全质量上。若未来出现更可靠的场景级补全，本文系统可自然受益； 但在复杂遮挡、透明物体或细薄物体上，补全器仍可能生成看似完整却物理错误的体积。 因此，“完整点云”并不自动等于“真实几何”，作者把它作为比部分点云更好的训练与部署表示，而不是对感知问题的最终解决。

总结与展望

这篇论文把三维世界模型的关键瓶颈从“网络怎样从遮挡中猜出物理”前移为“系统怎样在进入动力学前获得完整几何”。 点补全、正运动学和任务无关点速度模型的组合，让仿真中的完整网格训练与真实世界中的单视角推理共享同一种观测表示。 六项滚动实验、闭环与开环规划、任务组合和真实机器人实验共同支持一个结论： 显式补全不仅降低点集误差，还提高成本函数所依赖的关键几何量，从而改善下游决策。

后续最有价值的方向不是继续堆大动力学模型，而是提高三处接口的可靠性： 用场景级遮挡数据训练补全器；把点云预测从逐点串行展开改成可分块并行的时间模型； 让接触状态与几何预测联合学习。若这三项同时推进，点世界模型才可能从准静态桌面操作扩展到更快、 更长、更具接触多样性的真实机器人任务。

金句：完整点云不是为了让未来更好看，而是为了让“物体在哪里、会怎样被推动”这件事在训练与部署之间使用同一种语言。

延伸阅读

• arXiv 摘要与 PDF
• 论文 v2 HTML 全文
• 作者项目页
• 代码仓库，当前标注为即将发布