PAPER DEEP DIVE
Real2Sem2Real：从单段人类 RGB 演示生成机器人学习的 3D 语义增强数据
人类视频采集成本低且不依赖机器人硬件，但现有方法通常需要深度传感器、把机器人叠加到二维视频中，或只针对已演示的单个物体生成数据。本文提出 Real2Sem2Real（R2Sem2R），将一段单目 RGB 人类演示转化为覆盖同类别多个语义实例的数千条机器人示范。方法先用蒸馏了 DINOv3 特征的高斯泼溅通过渲染比较跟踪物体 SE(3) 位姿，再以语义整体对齐和功能区域加权对齐把仅由一张或几张照片生成的数字表亲映射到演示场景。人类手部抓取经 HaMeR 恢复后转换为可行平行夹爪抓取，并随语义对齐迁移到不同实例。机器人示范可在 IsaacSim 中生成照片级渲染，或在 MuJoCo 中计算接触物理；单张 RTX 5090 约两小时可生成 2000 条示范。作者在两种真实机器人和四类任务上训练视觉语言动作策略，发现仅用每个任务的一段人类视频生成的数据即可匹敌或超过遥操作数据。
作者：Matthew Strong、Ankush K. Dhawan、Julien Poffet、Giuse Pham、Jinho So、Monroe Kennedy III。
论文：arXiv:2610.28880，2026-10-20。
项目页：real2sem2real.github.io。代码状态：截至 2026-11-04，项目页仍标记 “Paper and code coming soon”；公开的 GitHub 仓库是项目网站，本文未提供可运行的方法实现。
一句话总结
这篇论文把一段单目 RGB 人类操作视频变成跨物体实例的机器人数据生成器：先跟踪演示物体的三维运动，再把功能部位语义一致的“数字表亲”对齐进来，最终在仿真中批量生成可迁移到不同机器人、不同物体实例的示范。
研究背景：机器人数据卡在“采集规模”和“物体覆盖”之间
机器人学习最可靠的监督数据仍然来自真实遥操作。它的物理含义清楚，动作和接触都由真实机器人产生，但采集速度受操作员时间限制。论文给出的实测约为每条示范 48 秒；150 条示范需要约两小时人工采集。更麻烦的是，这些数据通常只覆盖有限的物体组合。策略一旦换一个杯子、换一台咖啡机，视觉外观与几何形状都会变化，行为克隆很容易把训练物体当作任务的一部分记下来。
模拟器可以并行生成大量轨迹，却需要场景、物体资产、相机和机器人轨迹。传统 sim-to-real 往往从建模好的资产出发，资产本身并不来自眼前的人类演示。人类视频的吸引力正好相反：采集极轻，不需要机器人，也不需要专用控制器；难点是视频只有像素，没有机器人动作，没有可靠的度量深度，也没有目标物体的完整三维模型。
现有路线各自绕开了一部分问题。依赖深度相机和动作捕捉的方法能恢复较准确状态，却重新引入硬件；把机器人渲染到二维视频上的方法能保留原视角，却难以移动视频中的物体，生成的数据仍绑定在原场景；WARPED 一类方法能改变纹理、位姿和尺度，但不改变物体几何，因此无法让策略见到真正不同形状的同类实例。
R2Sem2R 的目标不是“给单个示范做空间扰动”，而是改变任务中的语义实例。对“把杯子放到咖啡机托盘”而言，真正需要保持的是杯子和托盘的功能关系，不是某一只杯子或某一台机器的精确网格。这个观察把问题拆成三层：先从人类视频恢复物体和手的运动，再把同类别实例按功能区域对齐，最后把对齐后的轨迹转换为机器人可执行的抓取与逆运动学目标。
输入、输出与总体结构
输入包括三部分：一段执行任务的单目 RGB 人类视频；对演示物体的手机扫描；以及目标类别实例的一张或几张照片。输出不是一条重定向轨迹，而是同时覆盖多个“表亲物体”的数千条机器人示范。每条示范包含第三人称 RGB 帧、机器人末端执行器位姿和夹爪开合指令，可用于训练视觉语言动作策略。
图 1 展示了完整链路。左侧的人类视频和手机扫描负责解析演示；中间的语义对齐把数字表亲带到同一任务位姿；右侧在 xArm7 和 Franka Panda 上生成四类任务数据，并在真实世界部署训练后的 VLA。这个流程的关键不是某一个单点模型，而是各阶段之间的坐标系约定：物体位姿、手部、抓取、机器人基座、相机和仿真场景最终都落到同一个度量坐标中。
图 1：单段人类 RGB 视频、手机物体扫描和表亲物体照片如何转换为跨机器人、跨实例的机器人示范。
flowchart LR
A[One monocular RGB human video] --> B[Segment hand and objects]
B --> C[Track object poses with DINOv3 Gaussian splats]
B --> D[Recover hand with HaMeR]
D --> E[Retarget to parallel-jaw grasp G]
C --> F[Object pose trajectory T_t]
S[Phone scan] --> C
P[One or few cousin photos] --> Q[SAM3D or MV-SAM3D assets]
Q --> R[Semantic ICP whole-object alignment]
R --> U[Task-weighted ICP functional alignment]
U --> V[Transfer trajectory T_t A]
E --> W[Transfer grasp and solve IK]
F --> W
V --> W
W --> X[IsaacSim rendering or MuJoCo contact]
X --> Y[Thousands of RGB action episodes]
Y --> Z[Fine-tune pi_0.5 VLA]
Z --> AA[xArm7 and Franka Panda deployment]
第一步：为什么不能只靠单目深度做物体跟踪
物体跟踪要把每一帧中物体的六自由度位姿估计出来。深度传感器可以直接给出米制几何，因此 FoundationPose 一类 RGB-D 方法有天然优势；只有 RGB 时，常见替代方案是先估计单目深度，再把它伪造成深度输入。问题在于单目深度主要保留相对顺序，尺度、薄结构、反光表面和手部遮挡都会让位姿漂移。论文在自建视频上给 FoundationPose 使用了较强的估计深度，并区分原始深度和按视频标定的深度，结果仍低于本文跟踪器。
另一种路线是直接拟合带语义特征的三维表示。高斯泼溅可以快速渲染颜色与轮廓，DINOv3 特征则能把外观相近、语义一致的区域联系起来。作者把手机扫描重建出的高斯泼溅作为物体模型，在训练视角上蒸馏 DINOv3 特征，然后用渲染结果与视频逐帧比较。这样不需要把单目深度当成完整三维几何，只需要将深度作为排序约束，避免错误绝对尺度主导位姿更新。
从扫描中分离物体高斯
扫描会先由 SAM3 根据文字提示分割首帧物体，再将掩码传播到其他视角。对每个高斯中心 $\mu_i$，作者统计它在所有可见视角中落在物体掩码内的比例：
$$p_i=|\mathcal{V}_i|^{-1}\sum_{j\in\mathcal{V}_i}M_j(\pi_j(\mu_i))$$其中 $\mathcal{V}_i$ 是能看到该高斯的训练视角集合，$\pi_j$ 表示投影到视角 $j$，$M_j$ 是传播后的物体掩码。这个分数不是只看一张图像，而是要求同一空间位置在多个视角里都属于物体。
最终保留的高斯集合为：
$$\mathcal{S}=\{\,i\mid p_i>0.5,\ |\mathcal{V}_i|\geq 3\,\}$$阈值 $0.5$ 表示多数可见视角同意，至少三个视角则避免单张掩码错误造成漂浮碎片。作者报告这种评分能得到边缘较清楚、可用于渲染比较的物体泼溅。扫描同时用 RANSAC 拟合桌面平面，并以真实物体高度缩放模型，因此后续位姿是米制的。单目视频负责运动，手机扫描负责形状，手动测高负责绝对尺度，这三者分工是方法能避免单目尺度漂移的前提。
图 3：DINOv3、SAM2 与 Depth Anything 生成特征、无手掩码和相对深度；高斯泼溅在候选位姿处渲染，四类损失共同更新 $T_t$。
第二步：用渲染比较恢复物体轨迹
设 $T_t\in SE(3)$ 是物体在第 $t$ 帧相机坐标系中的位姿。系统把物体泼溅在 $T_t$ 处渲染成 RGB、DINOv3 特征、轮廓和深度，并与冻结视觉模型从视频帧得到的目标比较。总损失写成各项加权和：
$$\mathcal{L}(T_t)=\sum_{k}\lambda_k\mathcal{L}_k,\qquad k\in\{\mathrm{rgb},\mathrm{feat},\mathrm{sil},\mathrm{rank}\}$$颜色损失负责细节与纹理，DINOv3 特征损失负责纹理弱但语义可辨的区域，轮廓损失约束物体边界，深度排序损失只要求前后关系一致。这里没有要求单目深度绝对准确，因为它只提供“哪一表面更靠近相机”的弱信息。
初始化利用一个很适合桌面操作的先验：物体被扫描时放在桌面上，所以候选姿态可以先绕桌面法向旋转，并在多个朝向下分别优化。候选排序时，RGB、DINOv3 和轮廓损失等权，轮廓 IoU 以双倍权重参与，以抑制语义相似但位置偏离的局部极小值。
遮挡是另一个关键工程点。人抓杯子时，手经常盖住把手，而把手恰好是决定偏航角的非对称部分。若把手的像素仍计入轮廓损失，渲染器会把杯子旋转到错误方向来“制造”一个看得见的把手。作者先从比较区域去掉手部像素，后续帧再用前一帧位姿和轻量平滑约束，使跟踪在短暂遮挡下保持连续。
论文的跟踪实验直接检验了这些设计。自建七个物体上的平均逐帧掩码 IoU 为 0.913；WARPED 为 0.681，RSRD 为 0.415，FoundationPose 使用按视频标定深度为 0.823，使用原始估计深度只有 0.629。YCBInEOAT 上，本文方法的 ADD-S AUC 为 51.4，ADD AUC 为 41.3，也高于所有仅使用单目输入的对照。
第三步：从人手得到可执行的平行夹爪抓取
跟踪只告诉机器人物体怎么动，没有告诉机器人该抓哪里。作者用 HaMeR 恢复每帧手部网格。HaMeR 的手在自身尺度上接近米制，但单目输入会把整只手放到错误的场景深度，常见误差可达半米。系统因此在物体像素上拟合单目深度到扫描泼溅渲染深度的仿射映射，再沿视线移动手部，并用一维搜索微调深度偏移，使指尖到物体的距离最小。
得到对齐后的手之后，抓取中心点取拇指与食指指尖的中点，夹爪闭合轴取两指尖连线，接近方向取手腕到中心点的方向。这个定义把人类捏取动作转换为平行夹爪的六自由度抓取。抓取 $G\in SE(3)$ 存在物体坐标系中，因此第 $t$ 帧机器人末端目标可以直接写成：
$$T_tG$$这一定义的重要之处在于，它把“手在相机里的位置”变成了“手相对物体的位置”。只要物体坐标系随跟踪移动，同一个相对抓取就能沿轨迹复用，也更容易迁移到形状相近但不同的表亲物体。
并非每一帧都适合取抓取。作者只考虑手已经捏住物体、手腕相对物体基本刚性、物体被抬离桌面超过 2 厘米的搬运阶段。在每个候选帧，围绕重定向抓取采样 100 个 $SE(3)$ 扰动，位置范围 2 厘米、旋转范围 $45^\circ$，先测试离人手动作为最近的候选。检查夹爪、物体 TSDF 网格和桌面的碰撞；第一个在夹爪完全张开时无碰撞且满足对跖关系的姿态成为该帧抓取。跨帧再选夹爪法向与物体表面法向最相对的那个。这个筛选把视觉恢复的抓取变成可执行抓取，也为迁移到表亲时留下局部重采样空间。
图 5：演示杯上的抓取通过语义对齐迁移到多个表亲杯，闭合位置仍落在各自把手上。
第四步：数字表亲不是“换皮”，而是换几何后保持功能关系
表亲资产从一张或多张照片开始。SAM3 先分割物体，SAM3D 或 MV-SAM3D 从单视图或多视图生成高斯泼溅与带纹理网格。作者称生成十个表亲在单张 RTX 5090 上约需七分钟。由于生成资产没有绝对尺度，每个表亲还必须缩放到真实高度；高度可以来自商品规格、视觉语言模型估计或真实物体测量。
只做整体形状对齐不够。杯子与咖啡机可能有完全不同的高度和轮廓，整体 ICP 会把底座、机身或把手平均到一起，却让真正承载杯子的托盘错位。作者因此采用三层对齐。第一层是标准双向 ICP，从若干候选朝向中找一个粗对齐；第二层把每个高斯的 DINOv3 特征聚成簇，用余弦相似度匹配跨物体的语义簇，再只在匹配簇之间建立 ICP 对应，称为语义 ICP；第三层根据任务选择真正决定成功与否的功能区域，以二十倍权重锚定这部分，称为任务加权 ICP。
功能区域由演示任务自动决定。对放置任务，视觉语言模型识别关键帧，通常是物体已经落到目标上的末态；随后在演示物体和目标物体周围取半径 $r$ 的球状区域。对倾倒这种连续动作，关键状态是动作起点，系统还会用 SAM3 分割杯沿，再把与目标区域语义相似的部位扩展到锚定区域。粉色高亮区域因此不是任意热图，而是实际参与对齐的功能约束。
设 $A$ 是某个表亲相对演示物体的刚性对齐，则表亲继承的轨迹为：
$$T_t^{\mathrm{cousin}}=T_tA$$公式很简洁，但前提是 $A$ 已经把语义对应关系放对。若只按整体外形对齐，杯柄可能被映射到杯身，抓取和挂杯动作就会系统性失败；若只按一个点对齐，又可能让物体穿进桌面。二十倍功能区域权重与最后的桌面对齐共同解决这两个问题：功能关系尽量不变，同时只沿竖直方向修正起始高度，使表亲在桌面上放平。
图 4：四类任务中的功能锚点。咖啡机托盘、倾倒杯沿、杯柄与挂杆、电钻握柄分别决定表亲如何对齐。
第五步：场景、相机与机器人逆运动学
对齐后的物体要在仿真里与真实机器人处于同一坐标系。作者提供一个基于 Viser 的交互场景工具，用户放入机器人、桌面和背景板，并用卷尺输入偏移。场景保存后直接导出到 IsaacSim 与 MuJoCo，两个模拟器共享同一布局。MuJoCo 还会把物体网格分解成距表面不超过 3 毫米的凸碰撞体。
相机外参不靠 AprilTag，而是把仿真机器人本身当作标定物。给定仿真相机参数 $\theta$，渲染机器人轮廓 $M_\theta$，与真实图像中 SAM3 得到的机器人掩码 $M^\ast$ 比较。相机目标写成：
$$\mathcal{L}_{\mathrm{cam}}(\theta)=1-\mathrm{IoU}(M_\theta,M^\ast)+\lambda_{\mathrm{rgb}}\mathcal{L}_{\mathrm{rgb}}+\lambda_{\mathrm{feat}}\mathcal{L}_{\mathrm{feat}}$$轮廓 IoU 是主约束；当轮廓区域变化变小时，机器人表面的 RGB 和 DINOv3 特征提供更细的梯度。由于仿真渲染不可微，优化器用同时扰动估计梯度，每步只需两次渲染，从粗到细在最佳姿态附近搜索。这个设计不需要额外标记物，也不必让真实相机与仿真相机拥有相同内参。
轨迹进入机器人侧后，若机器人基座为 $B$，末端执行器目标为：
$$B^{-1}T_tG$$执行前还会沿接近轴加入无碰撞预抓取偏移，并用 jaxmp 求解逆运动学。求不到目标、自碰撞或抓取迁移后碰撞的样本直接丢弃，但丢弃样本的耗时计入生成成本，因此论文报告的约两小时不是只统计成功样本。
图 6：同一 Viser 场景同时转换为 IsaacSim 和 MuJoCo；下方是 xArm7 与 Franka Panda 的真实实验布置。
第六步：生成策略与数据采集成本
每条新示范会抽取一组表亲配对，并在桌面范围内随机化两个物体的起始位置。演示轨迹被弯折到新的起点，起点偏移沿弧长逐渐衰减到零，因此到关键状态时仍严格保持原始功能关系。环境还会随机化桌面纹理、光照、天空盒和相机位姿，避免策略只记住某一种渲染。
IsaacSim 提供更照片级的 RGB 渲染，但抓取阶段只是把物体运动学地跟随夹爪，不模拟手指与物体的接触。MuJoCo 则计算从落桌、抓取到释放的接触，并只在物体静止位置满足目标容差时保留样本，但视觉真实感较弱。两者不是简单替代关系，而是在视觉域随机化和物理域随机化之间取舍。
数据记录频率为 10 Hz，每条样本包含 RGB 图像、由正运动学得到的末端位姿和夹爪命令。策略在 $\pi_{0.5}$ 上以 LoRA 微调，输入一张 $224\times224$ 的第三人称 RGB 和 8 维本体状态，包括末端位置、轴角旋转与夹爪开合，输出 10 步动作块。每个动作是 7 维：位置增量、从当前到下一姿态的轴角旋转增量，以及夹爪命令。
| 环节 | 论文给出的成本或规模 | 含义 |
|---|---|---|
| 人类采集 | 约 1 分钟视频与扫描 | 不含所有方法共享的 30 分钟机器人布置 |
| 预处理 | 约 25 分钟 GPU 时间 | 重建、跟踪、表亲生成与对齐、运动规划 |
| 生成 2000 条 | 约 2 小时，单张 RTX 5090 | 平均约 3.6 秒一条，包含被丢弃样本耗时 |
| 遥操作对照 | 150 条约需 2 小时人工 | 平均 48 秒一条，按操作员时间线性增长 |
| 十个表亲资产 | 约 7 分钟 | SAM3D 或 MV-SAM3D 生成高斯与网格 |
这组成本揭示了一个容易忽略的事实：R2Sem2R 不是“零成本数据”。它把人工时间的一部分换成了 GPU 时间和后处理工程，但换来了可并行、可跨实例和可跨机器人复用。当需要覆盖几十个物体组合时，人工时间几乎线性增长，而计算时间可以通过更多 GPU 横向扩展，这才是它在规模上的优势。
实验设置与真机结果
论文使用 xArm7 和 Franka Panda，各自搭配原生夹爪，外部 Intel RealSense D435i 只取 RGB。四类任务分别是把杯子放到咖啡机托盘、把杯中物体倒进碗、把杯子挂到杯架、把电钻扶正到目标朝向。每项任务和每台机器人进行 50 次真机试验，钻孔扶正为 40 次。成功判定直接对应任务功能，例如杯子必须水平落在托盘上，倾倒方向必须让液体落入碗中，杯柄必须真正挂住枝杆。
遥操作对照使用跨多个实例的 150 条示范；R2R2R+ 使用同一演示物体对的 2000 条生成示范；R2Sem2R 同样使用 2000 条，但覆盖一个参考物加多个表亲。比较中，R2Sem2R 和 R2R2R+ 来自同一段人类视频，通过同一套跟踪、抓取、仿真与 IK 流程生成，因此两者差距尽量隔离了“有没有语义多样性”这一因素。
| 机器人 | 任务 | 遥操作 150 条 | R2R2R+ 单物体对 2000 条 | R2Sem2R 表亲 2000 条 |
|---|---|---|---|---|
| xArm7 | 杯子放到咖啡机 | 31/50（62%） | 18/50（36%） | 45/50（90%） |
| xArm7 | 倒入碗中 | 36/50（72%） | 23/50（46%） | 37/50（74%） |
| xArm7 | 挂在杯架上 | 29/50（58%） | 10/50（20%） | 31/50（62%） |
| xArm7 | 电钻扶正 | 34/40（85%） | 15/40（38%） | 34/40（85%） |
| Franka Panda | 杯子放到咖啡机 | 30/50（60%） | 20/50（40%） | 34/50（68%） |
| Franka Panda | 倒入碗中 | 28/50（56%） | 22/50（44%） | 38/50（76%） |
| Franka Panda | 挂在杯架上 | 14/50（28%） | 5/50（10%） | 18/50（36%） |
| Franka Panda | 电钻扶正 | 26/40（65%） | 12/40（30%） | 26/40（65%） |
最直接的消融结论是：在每一项任务、每一台机器人上，R2Sem2R 都比只改变单物体对位姿的 R2R2R+ 高 26 到 54 个百分点。由于二者生成流程相同，增益主要来自表亲带来的几何多样性。R2Sem2R 也在所有任务上达到或超过 150 条遥操作示范，最高为 xArm7 咖啡机放置的 90%。
电钻任务尤其有解释力。两种策略训练时看到相同的四把电钻，因此差距不能完全归因于“测试物体是否更熟”。R2R2R+ 仍然只围绕原始物体对生成姿态变化，而 R2Sem2R 通过表亲改变握柄几何与语义对齐后的抓取。结果表明，仅改变物体在场景中的位置不足以训练出稳定的抓取恢复。
图 7：四类任务的人类演示与两种真实机器人执行。每项任务只用左侧一段 RGB 人类演示生成训练数据。
什么因素真正带来增益
数据规模实验进一步区分了“数量”和“物体多样性”。在 xArm7 咖啡机放置任务上，只覆盖一个物体对的遥操作策略从 50 条增加到 150 条后仍停在 10% 到 12%；只覆盖单对的 R2R2R+ 从 660 条起稳定在 36% 到 38%。R2Sem2R 则随表亲数据增加继续上升，在 1320 条时达到最佳遥操作策略水平，在 2000 条时超过它。
这说明单条生成示范的价值低于一条真实遥操作示范，但 R2Sem2R 的扩展曲线更高、更持久。单对数据会遇到“视觉变化再多也不出分布”的天花板，表亲数据则不断加入新的形状和功能几何，使策略有机会学习类别层面的操作关系，而不是记住某个资产。
模拟器对照也给出一个反直觉结果：同样是 2000 条 xArm7 放置数据，IsaacSim 训练的策略达到 45/50，MuJoCo 只有 31/50，后者恰好与遥操作相同。对仅用 RGB 的视觉语言动作策略而言，视觉真实感似乎比接触细节更重要。MuJoCo 能模拟手指与物体的真实接触，但渲染域差距抵消了这部分优势。作者因此没有把 MuJoCo 当成默认更优的数据源，而是把两者视为互补方向。
| 跟踪方法 | 自建视频平均掩码 IoU | YCBInEOAT ADD-S AUC | YCBInEOAT ADD AUC |
|---|---|---|---|
| R2Sem2R 跟踪器 | 0.913 | 51.4 | 41.3 |
| WARPED | 0.681 | 44.0 | 25.1 |
| RSRD | 0.415 | 5.1 | 1.9 |
| FoundationPose，逐视频标定深度 | 0.823 | 30.3 | 22.8 |
| FoundationPose，原始估计深度 | 0.629 | 3.0 | 1.5 |
跟踪表还揭示了两种失败模式的差异。RSRD 在纹理较弱或遮挡较重时几乎失配，FoundationPose 对深度标定非常敏感：标定后可以到 0.823，但使用原始深度仅 0.629。本文方法仍然依赖扫描模型和已知尺度，却不需要逐帧稳定的度量深度，因此在缺少深度传感器的采集条件下更有实用价值。
局限与边界
作者明确承认，演示物体必须有真实高度测量，单目深度不足以恢复绝对尺度。这个要求看似只是量一个杯子，却意味着系统不是完全“拿视频即用”。扫描和物体高度共同定义了米制空间；若尺度错误，抓取、桌面高度和机器人轨迹都会出现系统性偏差。
IsaacSim 的运动学搬运不模拟手指与物体的接触，因此适合视觉丰富、接触要求不极端的数据，却难以覆盖需要力反馈、滑动控制或精细插入的任务。MuJoCo 能补接触物理，但渲染真实感不足，本文只把它作为对照并观察到明显性能下降。如何把高保真渲染与真实接触放到同一条生成链中，仍是后续工作。
方法只处理刚体，不支持软体和可变形物体；铰接物体如抽屉、门也只被列为未来方向。对于这些对象，单一刚体变换无法描述相对运动，必须额外恢复关节轴并在表亲之间迁移。作者提到从演示中恢复螺旋轴、再通过语义对齐迁移，是自然但尚未实现的扩展。
抓取恢复依赖视频里出现手稳定握持物体并把它抬离桌面的阶段。若任务始终是纯滑动、推动、工具使用或双手协作，系统没有足够清楚的捏取时刻，当前手到夹爪的转换就不适用。表亲生成也至少需要一张真实或多视角照片；完全凭文字生成整个类别并保持可操作几何仍是未来工作。
另一个独立判断是，作者把“功能区域”的发现交给视觉语言模型和语义相似度，但论文没有系统报告关键帧或区域选择错误率。对咖啡机托盘、杯沿等常见物体，语义模型很可能可靠；面对结构复杂、类别罕见或功能名称含糊的目标，二十倍权重也可能放大错误。真正部署时需要把区域选择的置信度和人工复核纳入流程。
论文表格与图中，部分数字来自不同机器人和任务条件，不能简单平均成一个总分。例如钻孔任务只有 40 次试验，不同任务的视觉难度和动作长度也不同。本文的价值在于给出跨实例、跨机器人和跨任务的系统性证据，而不是声称某个单一百分比可以无条件外推。
结论与意义
R2Sem2R 把“人类视频学习”从二维重渲染推进到三维语义增强。它没有把视频简单地扰动成更多视频，而是恢复物体轨迹、建立功能区域对应、换入真正不同的几何，再生成机器人可执行的抓取与运动。这个顺序让数据多样性来自任务语义，而不是随机数据增强。
对机器人开发者最有用的结论是：若要获得跨物体实例的泛化，增加同一物体对的轨迹数量会遇到快速饱和，语义上对齐的表亲实例比单纯空间随机化更有效。代价是系统需要可靠的物体扫描、尺度、功能区域选择和仿真管线；收益是把一次人类采集扩展为跨机器人、跨实例的大规模训练集。
这条路线也为数据工程提供了一个清晰准则：生成数据的“真实性”不只看图像是否逼真，还要看物体功能关系是否被保留、可执行约束是否被满足、以及视觉域和物理域是否适合目标策略。R2Sem2R 的真正贡献不是某个单独的跟踪分数，而是把这三个问题接成了一条可以反复运行的生产线。
金句：真正可扩展的演示增强，不是在同一个物体周围制造更多轨迹，而是在不同物体之间保住同一条功能关系。
