论文

WildAWM：为计算机使用智能体合成可执行世界与长程任务

WildAWM 针对的痛点很具体：计算机使用智能体不缺模型，缺的是能让它反复试错的环境。在真实系统上直接做交互式学习既慢又有副作用，而现有合成环境的状态规模只有千级 token、任务也偏短。这篇工作把环境合成拆成两段：先由人格与日程驱动，生成 640 个可执行状态、中位 52.4K token 的世界（对照 CUA-Gym 的 1.1K），并配 83 个技能与 17.16 万条数据库记录；再用五道门禁（裁判一致性、初始未满足、可解性、难度、反事实探针）筛出 341 个长程任务，其中 273 个困难、68 个中等，平均 4.2 个子任务、3.1 次界面切换，74.5% 的任务需要重访同一界面。训练侧用 18 个模型-框架组合跑出每题 6 条轨迹，SFT 预热后接带自适应 rollout 与清单式奖励的 GRPO：4B 平均提升 8.21 分、35B 提升 10.58 分，而 GPT-6-Astra 在这套题上也只有约 60% 通过率。代价同样写得很清楚：单题合成约 6980 万输入 token（p90 1.309 亿），而按题目难度分箱后，最难的那四分之一（多为 OS-2 / ALE 上的超长任务）对所有变体都几乎没有增益，说明这套流水线抬高了中位难度，天花板还没顶开。

Computer-Use Agent世界模型

Zhaoyang Wang, Qianhui Wu, Haorui Wang · 360次阅读 · 2026年10月19日

OpenVLHarness：真实世界视觉智能体工具调用与多模态记忆

多模态大语言模型（MLLM）在视觉推理上进步迅速，但许多任务所需的证据无法仅靠内部推理获得：作者在 22 个基准上的对照实验显示，单纯提高基础模型的推理预算只能带来有限提升。这类任务需要接地感知、外部知识与数值测量，且来自异构工具的输出必须被模型读懂、并在多轮推理之间保留。本文提出 OpenVLHarness，一个围绕「能力层」与「持久多模态记忆」组织起来的多模态推理 harness。能力层把任务级工具接口与证据渲染结合在一起，为异构后端提供一致的访问方式，并把它们的输出转换成模型可读的观察；持久多模态记忆在整条查询过程中，把相应的图像、结构化数据与网页引用保存为可寻址工件；编码接口则在已存数据上执行生成的程序，实现跨工具结果的组合计算。三者共同支撑「获取—检视—组合」多模态证据的迭代过程。在 22 个基准、8 个开源与闭源骨干上的评测中，OpenVLHarness 相对同配置无工具基线平均提升 9.7–12.6 分，其中 Qwen3-VL-8B 提升 11.2 分、Kimi K3 提升 9.7 分、GPT-6 Astra 提升 9.9 分；GPT-6 Luna 在中等推理预算下，OpenVLHarness 比最大推理预算下的基础模型、Codex 与 Visual Sketchpad 高 7.7–8.5 分，而模型 token 开销最多只有它们的 37%。

Multimodal ReasoningTool Use

Yu Zhou, Cheng-Fu Yang, Rui Sun · 486次阅读 · 2026年10月19日

面向世界动作模型的无数据持续学习：整流生成回放

基于预训练视频生成模型的世界动作模型（WAM）能快速适配新机器人任务，但在顺序微调下会遗忘旧任务。经验回放（ER）靠重演旧任务数据缓解遗忘，而机器人场景中策略往往只以权重形式部署、训练数据并不随权重共享，旧数据常常不可得。本文研究 WAM 能否通过重生成自己的过去实现无数据持续学习：关键观察是 WAM 可以自回归地重生成旧任务的完整 rollout 并回放以缓解遗忘，但直接回放原始 rollout 仍远不如回放真实数据，原因有二——其一，WAM 无法识别任务已完成，在任务结束后继续生成无目的动作；其二，开环生成下生成的动作会逐渐偏离生成的观测。为此提出整流生成回放 R²-WAM：用智能体式评估器在任务完成处截断生成的 rollout，并滤除动作与观测物理不一致的 rollout。在 LIBERO 四个套件与五个真实世界任务上，R²-WAM 相比顺序微调将遗忘降低 90% 以上，且在完全不接触旧任务数据的前提下接近经验回放的效果。分析进一步揭示 WAM 的遗忘集中在逆动力学建模：被遗忘的 WAM 仍能生成旧任务视觉上合理的观测，但其生成的动作已经失败。

持续学习世界动作模型

Kaipeng Fang, Hangxu Liu, Chaojian Shi · 234次阅读 · 2026年10月13日

面向通用人形移动操作的动作对齐隐空间规划

FIBER 提出用冻结行为基础模型(BFM)的可执行隐空间,作为人形机器人移动操作的统一规划表示。其隐策略投影(LPP)把独立训练的各任务专家映射进该空间:不匹配运动轨迹,而是让隐命令经冻结 BFM 诱发的动作去对齐专家在局部状态下的控制响应,从而在降低规划频率的同时保留 BFM 的高频闭环物理反馈。投影完成后,各技能的闭环隐轨迹被聚合,用于完全离线地训练一个单一感知流匹配规划器;该规划器以机载深度图、本体感知与语言/路点转向令牌为条件,预测未来 1 秒的隐命令序列,并以滚动时域方式反复重规划。论文还提出 AH-BFM:用多折扣(multi-gamma)前向-后向学习在同一隐空间内兼顾短程精确控制与长程行为结构,并用后继特征引导的行为复用把搬运等交互与蹲行、跪行等原生全身行为组合。在 IsaacSim 中每任务 128 种变化下,FIBER 平均成功率 42.0%,是固定隐轨迹回放(11.6%)的三倍以上,远超运动学规划(3.5%);真实 Unitree G1 上搬箱 6/10、开门 4/10、抓取 2/10,规划器 5 Hz、BFM 50 Hz 同跑在一块笔记本 GPU 上。

人形机器人移动操作

Yutang Lin, Guanya Shi, C. Karen Liu · 293次阅读 · 2026年10月17日

感知人形跑酷：通过动作匹配串联动态人类技能

尽管人形机器人的运动控制近来已在多种地形上实现稳定行走，如何获得高动态人类动作那般的敏捷性与适应性，仍是一个开放问题。尤其是在复杂环境中的敏捷跑酷，不仅要求底层控制的鲁棒性，还要求类人的动作表现力、长时程的技能组合，以及由感知驱动的决策能力。本文提出感知人形跑酷框架 PHP（Perceptive Humanoid Parkour）：一个模块化系统，使人形机器人能够在具有挑战性的障碍场地上自主完成长时程、基于视觉的跑酷。方法首先把动作匹配（motion matching）表述为特征空间中的最近邻检索，用它把重定向后的原子人类技能组合成长时程运动学轨迹；这一框架让复杂技能链既能灵活组合、又能平滑过渡，同时保留人类动态动作的优雅与流畅。随后，我们为这些合成动作训练基于动作跟踪的强化学习（RL）专家策略，并用 DAgger 与 RL 相结合的方式把它们蒸馏成单个基于深度图的多技能学生策略。关键在于，感知与技能组合的结合带来了自主的、随场景而变的决策能力：仅凭板载深度传感与一条二维速度指令，机器人就能自行判断应当跨过、爬上、撑越还是翻下几何形状与高度各不相同的障碍。我们在 Unitree G1 人形机器人上以大量真机实验验证该框架，展示了诸如攀爬最高 1.25 m（相当于机器人身高 96%）障碍这类高动态跑酷技能，以及在障碍被实时扰动时闭环适应的长时程多障碍穿越。

人形机器人跑酷

Zhen Wu, Xiaoyu Huang, Lujie Yang · 256次阅读 · 2026年2月17日

DiscoveryRSI:递归学习发现有价值假说

科学发现的难点不在生成想法，而在把值得做的假说发展成可执行的调查，并从这一过程中学习。本文先给出「有价值且可检验的研究假说」的操作性定义：有据可依的主张 + 可行的调查计划 + 明确的判定标准 + 替代解释。DiscoveryRSI 用多智能体进化搜索生长假说树，把选中的调查编译成可执行的 Harbor 任务，并通过三条互相咬合的机制递归自改进：假说信用优化把科学评估按文档化贡献归因成有界监督信号，harness 回放在冻结模型权重的前提下改进研究工作流，rediscovery 把被接受的更新放回新问题继续积累经验。配套的 DFM-Bench 在假说、修订、发展路径、研究轮与跨提案贡献五个层次评估质量与累积进展。四个生命科学域上，假说质量从基座模型的 4.86 升至两轮自改进后的 5.39，增益集中在可证伪性与数据可解性；专家盲评中 DiscoveryRSI-27B 在重要性与「主张可信且有证据边界」两项上高于 GPT-6 Luna；与模型 cutoff 之后发表研究的对应率为 6.3%，高于 GPT-6 的 2.5% 与 Claude Opus 5 的 2.3%。代码、27B 模型与基准均已开源。

Scientific DiscoveryMulti-Agent Systems

Jianyuan Zhong, Chenwei Wu, Zhaochen Yu · 309次阅读 · 2026年10月16日

Social-WM：面向机器人社交导航的安全感知隐空间世界模型

社交导航不只要求机器人预判动作后果，还要求它判断一条名义动作在当前物理与社交约束下是否真能执行。Social-WM 从第一视角 RGB 序列训练一个轻量隐空间世界模型，把名义动作与可实现动作之间的系统性偏差直接用作安全信号：冻结的 DINOv2-small 把 224×224 画面编码为 16 个 384 维 token，六层 Transformer 在 T=8 的历史上预测 H=8 的未来隐状态；再用可实现逆动力学目标，以里程计恢复出的真实运动而非下发指令来监督隐空间转移。部署时 CVAE 一次提出 K=8 条动作块，全部在世界模型中想象，由逆动力学估计每条转移的可实现动作，残差超阈值的候选在执行前即被判为不安全并剔除，其余按目标代价择优。在 Habitat Social-HM3D 上取得 63.77% 成功率与 94.37% 个人空间合规率，与人碰撞率降至 21.67%（相对 NavThinker 降低 44.6%），零样本迁移到 Social-MP3D 仍为成功率最高、碰撞率最低，全程只用离线 RGB 轨迹，不需显式行人跟踪、特权人体状态或在线强化学习。

Social Navigation世界模型

Zhihao Zheng, Mooi Choo Chuah · 279次阅读 · 2026年9月30日

PriMoRetarget：通过优先级运动重定向实现人形机器人动作迁移

运动重定向是把人类动捕数据迁移到人形机器人的关键预处理步骤。现有方法多将重定向写成加权多目标优化，目标冲突时只能靠手工调权妥协，难以保证脚部落点、人-物接触等关键特性不被姿态目标牺牲。本文提出 PriMoRetarget，用显式优先级层次取代相对权重：低优先级目标的梯度更新被投影到高优先级目标雅可比的零空间中，使接触与脚步约束严格优先于姿态相似度。方法包含逐帧分块投影（复杂度从 O(T^3 m^3) 降至 O(T m^3)）、自由目标机制与加权和热身三个设计。在 LAFAN1、OMOMO、Inter-X 与 35 分钟双人协作数据上，接触保持率全面领先 PHC、GMR、OmniRetarget（OMOMO 96.9%），跟踪策略成功率在 LAFAN1 与 OMOMO 达 100%，并在 Unitree G1 真机完成搬箱部署。

人形机器人运动重定向

Nicholas Ioannidis, Dun Yang, Max Smith · 296次阅读 · 2026年10月8日

Juno：为视觉-语言-动作模型驯服预测性潜变量

Juno 把同一个动作条件 JEPA（LeWM，ViT-Tiny 约 15M 参数）用在三个位置：控制对齐的表征骨干、策略学习期的预测教师、部署期的可适配动力学模型。预训练用 Dynamic CLS 损失把冻结 patch 监督者的运动加权 patch 变化搬进紧凑的 CLS 状态；策略学习用 patch 级融合加 MoT 解耦推理分支，把 K 个未来 CLS 状态一对一蒸馏进隐序列，并与流匹配动作损失在同一条隐序列上汇合；部署期两阶段测试时适配先用全部转移（含失败）全参数更新世界模型，再冻结适配后的教师、只在验证成功的执行上以 LoRA 重对齐策略。SimplerEnv 平均成功率 68.5%（最强基线 Qwen3GR00T 为 60.9%，适配后 72.7%），RoboCasa-GR1 24 任务 59.6%（赢下 21 个），真机冻结策略在累积偏移下保持 75/70/70 而基线归零。

视觉语言动作模型世界模型

Yuchen Zhu, Chenyi Xu, Yulin Zhang · 248次阅读 · 2026年10月7日

LidarVerse：跨任务、跨传感器的实时统一 LiDAR 世界模型

NVIDIA 等提出 LidarVerse：统一条件生成框架下的实时 LiDAR 世界模型。通用 tokenizer 将 32/64/128 线距离序列映射到共享潜空间，双向教师模型以 LiDAR 前缀、HD-Map、持久空间缓存与可选文本为条件；蒸馏出的四步自回归因果学生模型配合滚动时序 K/V 缓存与世界对齐空间缓存，在单张 H100 上以 11 FPS 实现长时程一致 rollout，在三种评测协议的大部分指标上达到 SOTA。

激光雷达世界模型

Che, Henry, Ren, Xuanchi, Fidler, Sanja · 386次阅读 · 2026年10月13日

PaperBanana-Interact：多轮人类反馈下的科研示意图精修

科研示意图很难一轮画到位：14 人用户研究里所有参与者在看到初稿后都要求继续修改，86% 认为精修后的图更令人满意。这项工作把 292 张专家手绘示意图上的 3518 条隐藏修改需求做成多轮基准 MTPaperBananaBench，并提出 PaperBanana-Interact：历史摘要器把多轮图文交互压成结构化记忆，多目标批评家与提示词精修器在每轮用户反馈下自我迭代至多 10 次。同一个单轮生成器 PaperBanana 起点质量分 50.3，配最强基线 DirectRefine 五轮后是 47.1、遗忘率 18.8%，换成 Interact 则是 61.2 与 12.6%。

多智能体Diagram Generation

Xueqing Wu, Ashwin Balasubramanian, Bingxuan Li · 232次阅读 · 2026年8月31日

生成式智能体：人类行为的交互式模拟

提出生成式智能体：以记忆流、反思与规划三个模块扩展大语言模型，25 个智能体在类《模拟人生》的小镇中连续生活两天，自发传播消息、建立关系并协调举办情人节派对；消融实验证明三个模块对行为可信度都不可或缺。

LLM智能体Agent Architecture

Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai · 332次阅读 · 2023年4月7日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。