论文

瀑布流分页

全部展开标签

人形机器人88视觉语言动作模型64强化学习62具身智能51世界模型51全身控制32研究283dgs24移动操作213D高斯泼溅19四足机器人19步态优化17模仿学习17灵巧操作16vision-language-action12同步定位与建图11仿真11视觉语言模型10扩散策略9联合嵌入预测架构9

Juno：为视觉-语言-动作模型驯服预测性潜变量

Juno 把同一个动作条件 JEPA（LeWM，ViT-Tiny 约 15M 参数）用在三个位置：控制对齐的表征骨干、策略学习期的预测教师、部署期的可适配动力学模型。预训练用 Dynamic CLS 损失把冻结 patch 监督者的运动加权 patch 变化搬进紧凑的 CLS 状态；策略学习用 patch 级融合加 MoT 解耦推理分支，把 K 个未来 CLS 状态一对一蒸馏进隐序列，并与流匹配动作损失在同一条隐序列上汇合；部署期两阶段测试时适配先用全部转移（含失败）全参数更新世界模型，再冻结适配后的教师、只在验证成功的执行上以 LoRA 重对齐策略。SimplerEnv 平均成功率 68.5%（最强基线 Qwen3GR00T 为 60.9%，适配后 72.7%），RoboCasa-GR1 24 任务 59.6%（赢下 21 个），真机冻结策略在累积偏移下保持 75/70/70 而基线归零。

视觉语言动作模型世界模型

Yuchen Zhu, Chenyi Xu, Yulin Zhang · 26次阅读 · 2026年10月7日

RSI-Anything：用世界模型驱动递归自我改进

RSI-Anything 把世界模型接进递归自我改进的闭环：预测决定哪些候选动作值得花掉稀缺的外部反馈，反馈再回头驱动策略学习或工作流改写，并在可靠性检查判定预测器已经漂移时触发有条件的世界模型自适应，最后由组件门与配对门决定哪一版策略-模型对被保留下来指导下一轮。底座是 JEPA-Anything 的正交预测分解。固定 coder 时，200 道 CodeContests 的隐藏测试通过率从静态验证器的 26.3% 升到固定世界模型的 29.2%、自适应后的 31.2%，在线测试用量几乎不变；GUI 评测里平均动作数降 39.4%；实验室规划的五个连续策略版本把 LabHorizon F200 从 21.80% 抬到 46.01%；同样的 40 次实验预算下，Suzuki 流动筛选的最佳观测产率 96.15%，贝叶斯优化 82.16%。

递归自我提升世界模型

Taoyong Cui, Pinxian Zeng, Wanghan Xu · 300次阅读 · 2026年10月9日

JEPA-Anything：跨域正交预测世界模型

JEPA-Anything 用正交预测分解把世界模型的潜变量拆成互补因子，以独立路径预测并在七个异质领域验证，在控制与分子动力学等任务上改善长时预测和干预误差。

世界模型联合嵌入预测架构

Cui, Taoyong, Wang, Zhongyao, Xu, Xinyue · 923次阅读 · 2026年9月17日

LeVJEPA：无需启发式技巧的高效可扩展视频预训练

LeVJEPA 用单个编码器、单个损失函数和一个固定超参数（λ=0.02）完成视频自监督预训练：不变性损失加 SIGReg 正则从数学上排除表征坍缩，无需目标编码器、预测器、stop-gradient 或像素重建；训练计算量比 V-JEPA 2 少 5.6–20.8 倍，FLOP 对齐下 ImageNet-1K 领先 7.6 个百分点，并免费获得块因果注意力，为流式感知与自回归世界模型铺路。

联合嵌入预测架构SIGReg

Lukas Kuhn, Lucas Maes, Giuseppe Serra · 617次阅读 · 2026年8月27日

Human-JEPA：能够感知与预测的人类中心视觉模型

理解人类的机器应当能够感知当下并预测未来。现有的人类中心视觉模型在静态图像上预训练，在静态密集感知上达到 SOTA，但无法处理运动与预测。本文提出 Human-JEPA，一个在视频上通过锚定预测训练的人类中心视觉模型：密集目标被钉在初始化的冻结副本上，防止密集感知的静默坍缩；块掩码被纯过去到未来的分割取代，避免了 5 个点的动作税和 17 个点的重识别坍缩。在冻结探针下，Human-JEPA 以 2.7 倍更少的参数在姿态估计和行人重识别上领先像素锚定专家模型，同时其预测头是首个不降低预测性能的预测头。单一安全适配的模型因此同时服务于理解人类的两个方面。

human-centric visionvideo forecasting

Hui Wei, Licai Sun, Guoying Zhao · 499次阅读 · 2026年8月21日

StageWAM：面向机器人操作世界-动作模型的阶段联合嵌入预测

通用机器人策略旨在将多模态观测和语言任务指令映射为跨任务的动作。现有方法通常将未来表示为固定的短视频-动作块。本文区分了两种互补的未来：捕获局部场景演化的短期物理未来，以及表示任务进度的阶段级语义未来。提出StageWAM，在基于Motus的世界动作模型(WAM)上增加Stage-JEPA——一种目标条件联合嵌入预测架构。Stage-JEPA使用冻结的V-JEPA2编码器提取当前状态表示，预测下一推断阶段的潜在目标。在50个RoboTwin 2.0任务中，StageWAM实现90.25%总体成功率，成功回合平均执行步数较最强基线减少5.97%。

联合嵌入预测架构WAM

Xiao Liu, Yuguang Yang, Xi Wang · 554次阅读 · 2026年8月11日

PhyLatent：JEPA世界模型的动力学相关表征

本文提出PhyLatent，用SVIC、PSG、FRA、CASC和LD约束JEPA潜空间，解决物理不变性、可辨识性与反事实动力学塌缩；Cube MPC成功率从70.0%升至78.1%。

联合嵌入预测架构世界模型

Xi Zeng, Haojie Ren, Ziying Song · 546次阅读 · 2026年8月6日

SiamJEPA：Siamese 学生编码器在 JEPA 中的作用

研究 Siamese 学生编码器在 JEPA 自监督表征学习中的作用。SiamJEPA 采用掩码 Siamese 学生编码器与 EMA 教师网络，作为有效的正则化手段提升表征可分性并加速早期训练，在有限训练预算下优于单编码器 JEPA 变体。

联合嵌入预测架构Siamese

Makoto Yamada · 475次阅读 · 2026年7月4日

Music-JEPA:从动作学习声音世界模型

联合嵌入预测架构(JEPA)近期兴起,本文将其扩展为从动作学习声音的世界模型。

世界模型Sound

Ziyu Wang, Kun Fang, Yann LeCun · 475次阅读 · 2026年7月24日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。