
VBot Exo2Ego Policy:轻量数据采集与第三人称到第一人称视频生成
本文提出 VBot Exo2Ego Policy,一种把第三人称操作视频转换为指定操作者第一人称观测的视频生成模型,用于从丰富的真实世界素材扩展第一人称操作数据。作者同时设计轻量采集流程与移动应用,支持第一人称、第三人称以及同步双视角采集,并将单视角素材与带相机几何的配对数据结合起来。模型以预训练视频扩散 Transformer 为基础,引入相机射线几何条件、语义掩码和手部关键点辅助监督,以改善视角转换与手物交互保真度。训练时随机注入并逐步移除相机几何条件,使推理不依赖目标相机标定;针对互联网视频,再加入源视频感知与推理、可选人物参考和跨镜头适配,以识别目标操作者并跟踪跨剪切操作。
Tong Rao, Zhihao Zhang, Yuntian Wang · 20次阅读 · 2026年11月12日
具身智能First-Person Video
2026年11月12日