#Digital Cousins (1)

Real2Sem2Real：从单段人类 RGB 演示生成机器人学习的 3D 语义增强数据

人类视频采集成本低且不依赖机器人硬件，但现有方法通常需要深度传感器、把机器人叠加到二维视频中，或只针对已演示的单个物体生成数据。本文提出 Real2Sem2Real（R2Sem2R），将一段单目 RGB 人类演示转化为覆盖同类别多个语义实例的数千条机器人示范。方法先用蒸馏了 DINOv3 特征的高斯泼溅通过渲染比较跟踪物体 SE(3) 位姿，再以语义整体对齐和功能区域加权对齐把仅由一张或几张照片生成的数字表亲映射到演示场景。人类手部抓取经 HaMeR 恢复后转换为可行平行夹爪抓取，并随语义对齐迁移到不同实例。机器人示范可在 IsaacSim 中生成照片级渲染，或在 MuJoCo 中计算接触物理；单张 RTX 5090 约两小时可生成 2000 条示范。作者在两种真实机器人和四类任务上训练视觉语言动作策略，发现仅用每个任务的一段人类视频生成的数据即可匹敌或超过遥操作数据。