Skip to content
Agientry
←返回能力前沿雷达

SOTA · 语言与推理

多模态理解

图文理解、图表与文档问答、视觉推理

多模态理解是 agent 能不能进入真实世界的门槛能力:文本描述不了的东西(一张截图、一份图表、一段视频帧、一个界面状态)只能靠视觉通路进来。它与 AGI 的关系有两点。一是它与生成共享表征:能看懂空间关系与语义,才能按指令重建它们,所以理解侧的 `multimodal` 与生成侧的 `image` 分成两个域却共用一套判断逻辑——理解的尺子是 MMMU、MathVista、ChartQA、DocVQA,生成的尺子是竞技场偏好。二是它决定了 agent 的行动面:计算机使用、机器人视觉、文档处理、视频理解,全部要先能看懂,再看懂之后的规划才有意义。梯顶按「第三方读数 + 真实用途」排:已同步的 Arena Agent 榜(2026-09-22)量的是把真实任务推进了多少,榜首 Claude Fable 5.1 净改进 13.71、GPT-6 Astra 11.54,这两条比任何单点视觉分更接近「多模态理解在生产里管不管用」。资产侧则收跨模态产品与生成模型的视觉通路:GPT-Image 2.5 与 Qwen-Image 2.1 是图像侧的读数,Gamma 是文档侧的落地形态,而 Gemini Omni 是这个域里唯一同时满足「第三方竞技场读数(文生视频 Elo 1516/1784 票)」与「置信度已确认」的一条,它把看懂视频与改视频放进同一个对话回合,说明多模态理解正在从静态图走向时序内容。

尺子MMMU、MathVista、ChartQA、DocVQA

SOTA 阶梯

6
多模态理解文档与演示梯顶C

Gamma:把「一份长材料」直接变成「一份能讲的演示」的编排型工具

Gamma 做的不是「写提示词出一页幻灯片」,而是把一份既有材料重新组织成一份可讲的演示:吃进长文档、PDF、粘贴的文本或一个网址,输出带大纲、分页、配图与版式的整套 deck,并且以「卡片式」结构让每一页都能单独重排、重写、换图。它代表文档与演示领域真正有用的那一类 AI——价值在编排与信息取舍,不在生成质量。它的天花板也同样清楚:输出是它自己的排版系统,导出到 pptx 之后样式还原度会掉一层,而这恰好是多数组织的硬性要求。

网页 / pptx / pdf输出形态厂商宣称 · 2025-01
多模态理解Agent文档与演示
产品Gamma Tech官网
Gamma:把「一份长材料」直接变成「一份能讲的演示」的编排型工具
视频生成影音创作梯顶A

Gemini Omni:视频交付单位从「一次抽卡」变成「一段可对话的编辑过程」

Google DeepMind 的视频与多模态生成模型,官方定位 create anything from any input, starting with video:逐步对话编辑视频,每次编辑建立在上一次之上并维持连贯场景,交付单位从一个镜头提到可改素材;另两条:真实世界知识、任意参考合成单一输出。水位连票数读:Artificial Analysis 竞技场(2026-09-22)文生视频榜 gemini-omni-1.1-flash 以 Elo 1516 第 1,但只有 1,784 票、CI ±15;第 2 同门 1513、26,576 票、±9,3 分差远小于各自 CI,统计不可区分,即 Omni 系列并列榜首。图生视频榜第 1 是 minimax-h3(1495、57,112 票),Omni 以 1488、3,734 票第 2。定价:输入 $1.50/1M tokens,输出文本 $9.00/1M、视频 $17.50/1M,720p 约 $0.10/秒、30 秒约 $3。付费层 GA、免费层无。闭源不可自托管、不能微调。置信度 A(已确认),视频域首条 A 档;A 指读数可信可核,不等于无争议第一。

1516Arena T2V Elo(1784 票)已确认 · 2026-09
视频生成多模态理解影音创作
产品Google DeepMind官网
Gemini Omni:视频交付单位从「一次抽卡」变成「一段可对话的编辑过程」
图像生成设计与前端梯顶C

GPT Image 2.5:把「多轮改图不走样」写成 API 契约的图像旗舰

OpenAI 2026-09-08 发布的图像生成与编辑模型,分 Flare(默认档:画质高于 GPT Image 2、延迟低 50%)与 Sunburst(精度档:用更长生成时间换复杂细节保真)两个变体,共 4 个端点(各一个文生图 + 一个编辑),API 面与价格完全一致。能力面:长边 3840px、6 档质量(auto/low/medium/high/xhigh/max,比上代多两档天花板)、单次最多 16 张参考图编辑、可选 mask、PNG/WebP 真 alpha 透明输出。发布重点是「多次编辑之间细节保持一致」与「基于批注只改一处」,即多轮改图不漂移。第三方水位:Artificial Analysis 竞技场(2026-09-22)上,sunburst 同时是文生图第 1(Elo 1423)与图像编辑第 1(1526),flare 双榜第 2(1401/1482),是唯一双榜登顶的系列;但两行都还标 preliminary、票数(8791/8014)远少于被超越的 gpt-image-2(82862)。闭源、只走 ChatGPT 与 API,不能自托管或微调。未做基准复现,置信度记 C(厂商宣称)。

1423/1526Arena 文生图 / 图像编辑 Elo 双榜第 1厂商宣称 · 2026-09
图像生成多模态理解设计与前端
产品OpenAI官网
GPT Image 2.5:把「多轮改图不走样」写成 API 契约的图像旗舰
图像生成设计与前端梯顶C

Qwen-Image-2.1:一套开放权重同时做生成、局部编辑与透明输出

阿里 Qwen 的图像生成与编辑一档,把文生图、局部编辑(圈选/涂抹/独立 mask)、最多 10 张参考图融合与原生 RGBA 透明输出收进同一个 7B 视觉生成组件(32 层 Single-Stream DiT),并用混合粒度注意力与前缀 KV 缓存复用压低批量出图的边际成本;原生 2048px、7 档宽高比。它是当前可下载权重里图像竞技场排位最靠前的一档(文生图第 17 / Elo 1228,图像编辑第 16 / 1367),但许可是 Qwen Research License 而非 Apache-2.0,商用前必须单独读条款,diffusers 还需从 git 主干安装。未做基准复现,置信度记 C(厂商宣称)。

7B视觉生成组件参数厂商宣称 · 2026-09
图像生成多模态理解设计与前端
产品阿里 Qwen (Alibaba)官网Repo
Qwen-Image-2.1:一套开放权重同时做生成、局部编辑与透明输出
图像生成设计与前端梯顶D

Nano Banana Pro:把「聊天式改图」做成产品形态的图像编辑模型

Gemini 的原生图像生成与编辑一档,社区叫它 Nano Banana。它的关键不是画质峰值,而是交互形态:多轮对话里持续改同一张图、能读图里的文字再改、能把多张参考图合成一张。这让图像生成第一次像「和设计师对话」而不是「抽卡」。它的排名多来自偏好竞技场,那是投票不是测量,记为待复现。

图像生成多模态理解设计与前端
产品Google DeepMind (Gemini image)官网
Nano Banana Pro:把「聊天式改图」做成产品形态的图像编辑模型
Agent文档与演示C

Muse:Meta 的长时任务个人 agent

Meta 2026-09-08 在美区发布的个人 AI agent:iOS/Android/Web,跑在云端 VM 上,用 chat 下目标、能看着它操作浏览器,Sentinel 权限把读写分开。

美区 · iOS / Android / Web首发平台(Meta 官方)厂商宣称 · 2026-09
Agent多模态理解文档与演示
产品Meta官网
Muse:Meta 的长时任务个人 agent

最新演示

57
SAM3 ONNX 离线分割登陆 GPU
0:33

SAM3 ONNX 离线分割登陆 GPU

@wkentaro_ · 90次播放 · 2026-10-30
SAM3Image Segmentation
XREAL AURA：安卓 XR 眼镜
0:16

XREAL AURA：安卓 XR 眼镜

@testingcatalog · 80次播放 · 2026-10-28
XREAL AURAAndroid XR
InteractiveBench：真实世界评测
0:22

InteractiveBench：真实世界评测

@HuggingPapers · 89次播放 · 2026-10-27
InteractiveBenchInteractiveWorld
InteractiveWorld：可验证交互环境
0:22

InteractiveWorld：可验证交互环境

@_akhaliq · 111次播放 · 2026-10-27
InteractiveWorldHuman-Centric
Jev 更新支持实时视频理解
0:59

Jev 更新支持实时视频理解

@ErenAILab · 158次播放 · 2026-10-16
JevRealtime Video
英伟达开源 Nemotron 3.5 Super VL
1:20

英伟达开源 Nemotron 3.5 Super VL

@NVIDIAAI · 183次播放 · 2026-10-15
英伟达Nemotron
Jev 1.14 新增图像边界框生成

Jev 1.14 新增图像边界框生成

@TypeLLM · 170次播放 · 2026-10-15
JevTypeLLM
Reka 发布 19B 全模态模型 Rho-1
1:00

Reka 发布 19B 全模态模型 Rho-1

@RekaAILabs · 535次播放 · 2026-10-05
具身智能Omni Model
NVIDIA PixelUMM：去掉 VAE 和 ViT，纯像素空间统一理解与生成
0:30

NVIDIA PixelUMM：去掉 VAE 和 ViT，纯像素空间统一理解与生成

@robotsdigest · 408次播放 · 2026-10-04
英伟达PixelUMM
PixelUMM：像素空间统一图像视频模型
0:29

PixelUMM：像素空间统一图像视频模型

@CongWei1230 · 82次播放 · 2026-10-01
英伟达PixelUMM
AutoTrust 开源 JEV-27B-VL：首个开放权重近 SOTA 多模态「决策模型」，看 Mario 画面自己决定跳不跳
0:25

AutoTrust 开源 JEV-27B-VL：首个开放权重近 SOTA 多模态「决策模型」，看 Mario 画面自己决定跳不跳

@AutoTrustAI · 1253次播放 · 2026-10-01
大语言模型决策模型
Uni-VLaT：给预训练 VLA 加上全身触觉，人形 loco-manipulation 成功率 32%→75%
1:07

Uni-VLaT：给预训练 VLA 加上全身触觉，人形 loco-manipulation 成功率 32%→75%

@stepjamUK · 640次播放 · 2026-09-29
Uni-VLaT触觉感知
MiniMax M3.1-Flash-Preview 上线 MiniMax Code：428B MoE（23B 激活）+ 1M 上下文 + 原生视觉编码器，桌面端限时免费用
0:27

MiniMax M3.1-Flash-Preview 上线 MiniMax Code：428B MoE（23B 激活）+ 1M 上下文 + 原生视觉编码器，桌面端限时免费用

@exploraX_ · 1073次播放 · 2026-09-28
AI Coding大语言模型
Fish Audio ASR 升级：区分说话人、就地标注 [laughter] 等情绪线索
0:59

Fish Audio ASR 升级：区分说话人、就地标注 [laughter] 等情绪线索

@FishAudio · 869次播放 · 2026-09-28
ASRSpeech Recognition
Delta-0：69 自由度人形全身移动操作基础模型
4:34

Delta-0：69 自由度人形全身移动操作基础模型

@HumanoidRTech · 1568次播放 · 2026-09-28
人形机器人移动操作
AHa-3D：用 GPT-6 Astra 加 3D 工具箱把房间视频变成可交互仿真场景
0:29

AHa-3D：用 GPT-6 Astra 加 3D 工具箱把房间视频变成可交互仿真场景

@CongrongX · 1060次播放 · 2026-09-27
Real2SimAgentic Tool Use
Muse Charm:挂上钥匙扣的随身AI
0:11

Muse Charm:挂上钥匙扣的随身AI

@aigclink · 1228次播放 · 2026-09-24
AI智能体可穿戴
Muse Realtime Avatar:实时表情化身
2:02

Muse Realtime Avatar:实时表情化身

@AIatMeta · 764次播放 · 2026-09-24
Interactive Avatar数字人
Meta VR Glasses 演示片
3:28

Meta VR Glasses 演示片

@AYi_AInotes · 764次播放 · 2026-09-24
VR HeadsetWearable Computing
Gen-HumanEgo:开源第一视角数据
4:14

Gen-HumanEgo:开源第一视角数据

@GenrobotAI · 1104次播放 · 2026-09-23
Egocentric Vision机器人学习
CWM-1:最可控的交互数字人模型
0:45

CWM-1:最可控的交互数字人模型

@LemonSliceAI · 813次播放 · 2026-09-23
世界模型视频生成
Fisheye-VLA:单鱼眼相机看全操作台
2:32

Fisheye-VLA:单鱼眼相机看全操作台

@ZhongyuLi4 · 608次播放 · 2026-09-23
视觉语言动作模型机器人操控
有道 R2T2+T3PO 实时同传实测
2:19

有道 R2T2+T3PO 实时同传实测

@MinLiBuilds · 661次播放 · 2026-09-23
Speech RecognitionMachine Translation
BoxBot:经典控制与VLA各司其职
3:48

BoxBot:经典控制与VLA各司其职

@heetezition · 663次播放 · 2026-09-23
视觉语言动作模型视觉伺服

论文与深读

41
D&A：解耦描述与评估，让视觉语言模型成为零样本机器人奖励模型2026-11-02D&A：解耦描述与评估，让视觉语言模型成为零样本机器人奖励模型现有视觉语言模型在机器人奖励估计中容易受确认偏差影响，把失败轨迹误判为成功。D&A 将奖励预测拆成两个无共享上下文的阶段：描述器不看任务指令，客观叙述视频中的机器人行为；评估器先给出明确的任务成功标准，再依据标准为每一帧分配密集进度奖励。该方法无需机器人数据或微调，能够惩罚失败执行并保留成功过程中的部分进展；在多项基准以及真实机器人在线与离线强化学习中，性能可匹配或超过经过后训练的奖励模型。
Movens-Zero：用大规模人类视频扩展人形动作基础模型2026-10-30Movens-Zero：用大规模人类视频扩展人形动作基础模型Movens-Zero 从互联网人类视频构建五百万条可执行人形动作，统一文本、视频、语音与音乐条件，并以实时分块闭环驱动 Unitree G1。
InteractiveWorld：面向交互式 MLLM 助手的可验证人本环境2026-10-25InteractiveWorld：面向交互式 MLLM 助手的可验证人本环境Meta 与 Duke 提出 InteractiveWorld：首个可验证的人—助手闭环交互环境。助手共享用户的第一人称视角，用自然语言给出指导；由 MLLM 驱动的人类智能体把指导落成 36 个动作原语之一，Isaac Sim 执行动作、更新世界状态并渲染下一段视角。在其之上构建 InteractiveBench：6 类共 120 个人工复核的多轮任务，成败由最终物体状态自动判定，不靠文本评判。12 个前沿 MLLM 的评测显示，最强的 Claude Fable 5.1 也只通过 41.7% 的任务，长程 Guidance 与 Planning 仅 20.0% 与 25.0%；失败任务的首个错误中 70.4%—85.7% 来自视觉感知与记忆。
VideoJev:面向视频理解与交互的系统一模型2026-10-13VideoJev:面向视频理解与交互的系统一模型VideoJev 将时序定位与多选视频问答统一为候选打分,共享打分头直接评估区间与选项,免去自回归解码;两种推理模式复用视频前缀,七基准精度更优、加速最高百倍。
TacitVLA：不留推理延迟的推理型VLA2026-10-13TacitVLA：不留推理延迟的推理型VLATacitVLA 让动作专家从不关注本次生成的推理文本：训练阶段仍用推理监督塑造骨干表征，部署阶段把记忆台账的生成挪进动作执行窗口。四个基准上与显式推理精度相当而单次调用延迟最多降 3.4 倍，RoboMME 计数 82.7%、RMBench 77.5% 均超过已发表最好成绩。
RoboPrompt：用稀疏人类输入直觉式引导机器人策略2026-10-07RoboPrompt：用稀疏人类输入直觉式引导机器人策略模仿学习训练的端到端机器人策略受限于数据多样性，零样本部署常常失败；遥操作纠正依赖专用硬件与熟练操作员，而把人类指导作为策略额外输入的方法又需要修改架构并专门训练可引导性。RoboPrompt 提出一个通用、轻量的机器人策略引导系统：用户只需用画出的轨迹、目标点或粗方向指令等稀疏输入，就能在线纠正策略行为。系统用一个 0.77B 参数的 VLA（Evo-1）作为人类意图翻译器，把稀疏提示转换为时空完整的动作草稿，再借助基策略（Diffusion Policy、π0.5、FastWAM）自身的扩散/流匹配去噪动力学，在噪声空间中平衡人类意图与策略先验，无需改动基策略架构或为可引导性微调。真机实验中三种策略的提示对齐率达 99.44%、97.1%、100.0%；将引导 rollout 用于 DAgger 在线改进，2–3 轮后 π0.5 三个任务平均成功率提升 15.5%，三个策略在 Insert Bread 上提升 21.3%，人工干预次数分别下降 44.0%（2.86→1.60）与 81.9%（2.60→0.47）。
EgoLAP：通过语言-动作推理从第一视角人类数据中学习2026-10-06EgoLAP：通过语言-动作推理从第一视角人类数据中学习第一视角人类视频规模大、行为多样，但人手与机械臂之间的具身差异使原始人类轨迹难以直接作为机器人控制的监督信号。EgoLAP 的核心主张是：低层动作是具身特定的，但其背后的运动意图可以跨人类与机器人迁移。框架把运动意图写成两种共享的文本目标——用结构化、时间抽象的自然语言动作（language action）概括一秒内位姿与夹爪的变化，用运动级推理（motion-level reasoning）给出接触、几何与物体 affordance 层面的物理依据，二者串成一条人-机共享的语言动作思维链。模型以 PaliGemma-2B 为 VLM 主干，配一个 3 亿参数、从零初始化的动作专家，经流匹配预测连续动作块；文本目标只监督主干（知识隔离），推理期仅 rollout 动作专家、不生成任何文本，因而不牺牲实时控制。在约 1 万小时人-机混合数据（ABC、EgoVerse、OXE 等）上预训练后，EgoLAP 在定制双臂真机上取得 80.1% 的平均任务进度，比 FAST、OAT 等动作表示高 2.3 倍；在零样本双臂仿真上达 38.3%，比直接用同域真机数据训练的 ABC-VLA 高 1.8 倍。运动级推理与语言动作强协同（真机 +35.6 点），而对非语言 token 几乎无益；跨 embodiment 技能检索最多提升 25 点，表明共享文本目标重塑了表征几何。
StageVLN：面向高效视觉语言导航的空间轨迹引导2026-10-05StageVLN：面向高效视觉语言导航的空间轨迹引导StageVLN在训练阶段以冻结几何模型提供多层空间引导，并用相对朝向与专家路线进度约束导航状态；部署时辅助分支全部移除。它在R2R-CE未见验证集取得56.3%成功率与51.4% SPL，在RxR-CE取得54.3%成功率。
ASENA：面向具身导航的自演化智能体2026-09-30ASENA：面向具身导航的自演化智能体ASENA 是一套让人形机器人成为通用编码智能体可编程环境的具身智能体系统：智能体读取传感器、编写并执行程序、对照录制的执行证据修复失败，并在模型权重保持不变的前提下，把可复用的笔记与可执行技能沉淀进持久工作区。论文同时提出可选工具 ASENA-VLN，一个 4B 单目导航策略，基于路线指令、视觉问答与新构建的几何原子导航任务训练，可预测本体坐标系轨迹。独立评测中 ASENA-VLN 在 R2R 与 RxR 上分别取得 68.7% 与 70.2% 的成功率；与编码智能体结合后，学习型导航在两个 agentic 基准上各提升 11 个百分点成功率并缩短执行时间。持久工作区演化在十轮重复任务子集上把 R2R 成功率从 72% 提升到 98%、RxR 从 65% 提升到 89%。在具身问答上 ASENA 以更少交互步数取得最先进准确率，并在 Unitree G1 上无预建地图地演示了搜索、视觉检查、空间推理、合成手势与包含拾取、搬运、递交的移动操作。
NavJev：动作中心视觉压缩导航2026-09-28NavJev：动作中心视觉压缩导航NavJev 用动作中心视觉压缩与判别式动作语义记忆，把 VLN 化为类型化选择；R2R-CE 达 27.0% SR、22.4% SPL，单步 0.65 秒。
机器人上下文学习：方法与应用2026-09-28机器人上下文学习：方法与应用通用机器人必须推断新任务的要求，并把这种理解转化为恰当的物理动作。机器人上下文学习（ICL）用示范与交互来引导已有能力，并在部署期间冻结神经参数。这份综述围绕「把上下文证据连接到执行」的接口来组织文献，区分出四大家族：上下文条件策略、几何示范迁移、基于世界模型的控制、技能与智能体执行。比较这些接口可以厘清各自的迁移假设，以及训练、对应关系与记忆在让上下文变得可用时扮演的角色。在操作与导航两类场景中，我们考察当物体、环境与执行条件发生变化时，这些机制如何保留教学所设定的要求。这一分析把方法设计与评测实践连接起来，区分「对教学敏感」「物理可迁移」与「从保留经验中获益」三种不同的主张。由此形成的研究议程把组合式任务获取与忠实迁移，同物理递归自我改进联系起来——在后者中，经验提升的是学会后续任务的能力。全文逐条编码 412 条参考文献（其中 260 条为方法类），并记录 14 组已报告对照。
World Action Agent：让 VLM 在视觉动作工作区里驾驶机器人2026-09-24World Action Agent：让 VLM 在视觉动作工作区里驾驶机器人香港科技大学（广州）、香港中文大学与 Knowin AI 提出 World Action Agent（WAA），一个多智能体 harness——它不改 VLM，而是改 VLM 看到什么、以及它的决策如何生效，让通用 VLM 只用点选、拖拽、预览、执行等基础工具就能驾驶机器人，所有决策都在同一个「视觉动作工作区」内完成。工作区有三个性质：其一是 Contact views，根据交互区域、遮挡、取景紧凑度、视点冗余与稳定性主动求解相机参数，且约束两个视图的水平投影正交，使任何对齐误差都能沿两个独立方向被读出，且只需基坐标系点云，因此对 RGB-D 融合、仿真渲染或 VGGT 重建等感知来源完全无关；其二是动作试演，把每个动作表示为可编辑提案，由 cuRobo 规划后以半透明机器人叠加到各视图并报告可行性，Imagination Agent 在物理场景不变的独立上下文中反复修订，只有具备可执行规划的提案才能变成物理运动；其三是视图内修正，智能体在观察到误差的 Contact view 中从参考点拖到期望位置，参考点可以是所持物体上的可见点，因此无需先把关系换算成绝对位姿。技能侧由 Learner、Editor、Reviewer 三个角色在证据与独立审核约束下从专家视频与人类 Canvas-GUI 教学中进化出关系型多模态技能库。LIBERO-Pro 上以 Gemini 3.7 Flash 为骨干、仅用 LIBERO-90 进化并冻结的技能取得 75.6% 平均成功率的 SOTA，超过 ASPIRE（72.0%）、端到端 VLA 与同骨干的 Show-Harness（6.7%），Spatial 两个切分达 80.0 / 73.3；每回合仅 31 次模型调用、150 秒、0.1996 美元，远低于 Show-Harness 的 120 次、874 秒、0.5021 美元。同一套冻结技能迁移到 robosuite 达 100.0%；用 112 条轨迹（1,774 决策步）LoRA 微调 Qwen3.5-9B 只替换主智能体，域外成功率从 1.7% 提升至 43.3%。
BeyondRetarget：从单目视频直接学习人形机器人可执行动作2026-09-24BeyondRetarget：从单目视频直接学习人形机器人可执行动作南京大学团队（arXiv:2609.29850）把「先估人体动作再重定向」的两阶段管线整个丢掉：不经过 SMPL 显式表示，直接从单目 RGB 视频学习机器人导向的隐式共享运动表征，经机器人专属解码头输出目标人形的完整动作。三项关键设计：① 解码器围绕可学习的机器人名义态做残差参数化，新机器人只重训 DoF 与根部朝向分支，单卡约 1 小时适配一台新本体；② 用逐连杆非均匀缩放把 SMPL 标注解析对齐到机器人骨架比例，人的动作直接监督机器人，无需任何原生机器人轨迹，外加 18 共享关键点 + 有向语义连杆两级监督；③ 接触预测器 + 「接触但移动 vs 支撑」两级门控触发根部高度/水平修正与下肢 IK，支撑脚零滑动。结果：G1 上 MAMPJPE 26.36mm、Fail65/Fail100 双零、Mujoco 执行成功率 95.86%，且姿态误差低于喂 SMPL 真值的 Oracle 重定向（重定向误差存在的直接证据）；八种人形（G1/R1/H1/GR1-T1/GR2-V3/T1/Tienkung/Atlas）MAMPJPE 全部 26.36–72.05mm；端到端延迟 192.8ms（两阶段约 1.3s），支持单目视觉实时遥操作。代码开源 bear-ty/BeyondRetarget。
MachEmbodied-U0：理想汽车的统一理解-生成具身基础模型2026-09-22MachEmbodied-U0：理想汽车的统一理解-生成具身基础模型理想汽车 Foundation Model 团队提出 MachEmbodied-U0（ME-U0），一个把理解与生成专家统一进 Mixture-of-Transformers 架构的具身基础模型。理解专家以自回归文本生成输出子任务描述与可供性定位（含边界框、交互方式与交互点）；生成专家用 flow matching 联合去噪未来视觉动力学（RGB、深度、表面法线、光流）与连续机器人动作，四种视觉模态共享同一个视频 VAE 隐空间与生成骨干，无需分模态预测头。Multi-rate Rotary Position Encoding（MRPE）解决动作比视频密三倍带来的时间对齐问题：保留视频隐帧的共享时间位置，给块内每个动作按次序分配不同的高度轴索引，配合 H_a = 3(H_v - 1) 的采样规则，形成每视频隐步对应 12 个动作步的一致跨模态时间结构。数据侧从约 5,700 小时机器人示范加 3,920 小时第一人称示范中精选出约 4,200 小时，覆盖四个开源数据集与六种本体（AgiBot G1 占 52.8%）；三阶段清洗依次做突变检测、状态-动作一致性检查与物理边界检查；Ego2Robot 合成流水线用 Depth Anything 3、SAM3、ProPainter、SAM3D、两阶段 PPO 与 MuJoCo/Mink 逆运动学把人类示范转为机器人对齐的观测与轨迹标注。实验在下游不补任何子任务、可供性、几何与运动标注的前提下取得 RoboDojo 17.66 分（WAM 组最强，精度 23.95、长程 36.98 领先最明显）、LIBERO 99.0%、LIBERO-Plus 82.5%，并保留零样本的子任务预测、可供性接地与视觉动力学能力。作者诚实指出记忆类任务最弱（Score 8.42），因模型不显式保留观测历史。
DexTacWAM：面向灵巧操作的视触觉世界-动作模型2026-09-21DexTacWAM：面向灵巧操作的视触觉世界-动作模型DexTacWAM 把触觉纳入被预测的世界状态：冻结的视觉 VAE 逐指编码指尖触觉图，手指与姿态感知的触觉压缩器按 5:1 把五路指尖潜变量聚合成每只手一个潜变量，并作为额外视图注入视频扩散世界模型做联合去噪；动作专家再经逐模态 K/V 归一化，从预测出的视触联合潜特征生成含逐指力的动作。在 22 自由度双臂 Sharpa 触觉平台的六个接触富集真机任务上，它以平均 70.6 分全面领先，最强基线 RDP 为 38.0 分；消融显示去掉触觉世界建模会让四任务均值从 74.7 跌到 26.6。约 4 小时触觉编码器适配加每任务约 100 条演示即完成持续视觉到触觉学习，视觉预测质量损失被压在 0.5 dB 内，触觉压缩同时带来 2.26 倍训练与 1.29 倍推理加速。
PredActor：预测未来状态的机载人形扩散控制策略2026-09-21PredActor：预测未来状态的机载人形扩散控制策略扩散模型能生成多样动作，却很难直接变成人形机器人的闭环控制：生成器—跟踪器分层方案靠参考轨迹操舵，参考可能超出跟踪器能力，物理可行性与抗扰动只能交给另一个控制模块；纯动作扩散直接输出可执行动作，却没有可供测试时引导的未来状态。PredActor 把两条路合成一个直接执行的策略：只用 96 维本体感受历史与可选文本条件，让交错的状态—动作 Transformer 同时去噪 20 步未来状态与动作；未来状态留在策略内部充当可微操舵接口，CFG 放大文本条件动作，CG 把预测状态推向目的地或摇杆速度等测试时目标，下发给 29 个关节的只有动作，既不需要参考跟踪器也不需要特权全身状态。配合滚动去噪与保精度运行时优化（两步 NS-DDIM、堆叠轴全身引导、调度预计算、all-QKV 打包、条件缓存、LibTorch 推理模式），Jetson Orin NX 上完整回调中位 16.790 ms、p95 19.383 ms，593/600 次落在 20 ms 控制周期内。仿真中 45 个目的地到达 44 个，MotionCLIP 文本检索 0.539 对纯动作扩散的 0.424；真机 Unitree G1 六组设置各五次试验，站立到行走、行走到慢跑、站立到下蹲全部成功。
Navi-Agent：无定位单目导航智能体2026-09-17Navi-Agent：无定位单目导航智能体Navi-Agent 仅用单目 RGB 构建无坐标视觉锚点图，以视觉重访做地点确认、进度校验与失败恢复，R2R-CE_100 成功率 33.4%。
JEPA-Anything：跨域正交预测世界模型2026-09-17JEPA-Anything：跨域正交预测世界模型JEPA-Anything 用正交预测分解把世界模型的潜变量拆成互补因子，以独立路径预测并在七个异质领域验证，在控制与分子动力学等任务上改善长时预测和干预误差。
X-WBC：跨本体人形全身控制基础模型2026-09-14X-WBC：跨本体人形全身控制基础模型X-WBC 把人形全身控制重构为跨本体联合训练：以人为中心的命令 token 对齐全身人体动作、机器人参考动作与稀疏 VR 观测，共享因果 Transformer 学习可复用时序结构，轻量本体专属模块负责各机器人的状态与动作映射。九个仿真本体、外部动作与四台真机的实验表明联合训练提升跟踪精度，对齐表示支持跨命令源一致控制。
RelateAnything：任意区域输入下的实时开放词汇关系预测2026-09-11RelateAnything：任意区域输入下的实时开放词汇关系预测开放词汇检测允许在推理时接受任意类别列表，可提示分割能在没有类别名的情况下返回区域：分类体系已经离开模型、成为输入，而关系预测尚未如此。场景图模型仍在一个标注风格的 50 或 56 个谓词上训练与评测，关系头以物体标签为条件，因而与单一检测器绑定。本文指出三个障碍：不存在既自由文本又经过验证的关系语料；以标签为条件的架构无法接受训练时没见过的词汇；标准指标奖励与训练语料的一致性，使更大的词汇量反而表现为退步。RelateAnything 是一个 5300 万参数模型，输入图像与任意来源的区域，输出在推理时以字符串形式给出的谓词词汇上的打分关系；物体标签从不作为输入，词汇是文本嵌入库而非学习出的分类器，推理速度为每帧 20 毫秒。为支撑 19103 个谓词的训练，论文提出正-未标注监督与能够区分反义词的文本编码器（对比式编码器把反义词嵌入到余弦 0.95），并构建 RA-4M：47.4 万张图像、430 万条关系、10102 个自由文本谓词，对着编号框标记生成并经几何门验证；评测上构建 OV-SGG-Bench 六轴跨数据集协议。在三个跨数据集基准与一个零样本基准上，平均召回达到同规模最强开放词汇方法的 2.3 至 3.5 倍，并以不足其 2% 的参数量超过 3B 视觉语言场景图模型；域内评测会把迁移收益高估约 5 倍。模型、语料与基准均已公开。

开源项目

1
joshhhhhan/VISTAMIT

VISTA：让多模态模型直接看像素玩通 ARC-AGI-3 的视觉框架

MIT 的 VISTA 只给通用多模态模型三样东西：原始 PNG 观测、自由语言推理、无损保存全部环境帧的视觉记忆，然后让它去玩 ARC-AGI-3。以 Claude Opus 5.0 为后端时 25 个公开游戏、183 关全部通关，RHAE 满分 100，动作数比首次人类玩家少 56%；换成 GPT-5.6 Sol 也有 98.27 分——全程不做程序合成。

ARC-AGI-3具身智能
Python1700

现在就能用的资产

这个域还没有挂上可直接装用的 skill。

消费它的领域

科研77知识管理1设计与前端3数据与分析4影音创作4开发5游戏制作3

边界与失败模式

这个域的失效方式最安静,也最贵。一是细节读取不可靠:图内小字、表格里的数值、密集界面里的状态,模型会给出语法通顺但数字错误的答案,且不表达犹豫;文档与图表问答在评测集上分数很高,在生产里对关键数字仍必须复核——任何「读图得出数值」的结论都默认降一档。二是分辨率与切片策略是隐藏变量:同一张图走不同预处理(整图 vs 切块 vs 降采样)结果差别很大,而厂商通常不披露,这使跨模型比较失去意义。三是长视频与多图的时间对齐仍然弱:能描述单帧,说不清「先发生什么」,视频理解在几十秒之后开始遗忘。四是幻觉与视觉接地脱钩:模型会用训练先验补上图像里不存在的物体,尤其在图模糊或问法带暗示时,这是安全域与这个域的共同上游问题。五是评测本身偏窄:MMMU、ChartQA 这类题目是干净截图与规范图表,真实世界是倾斜的手机拍照、被压缩的扫描件、混排的 PDF,分布外表现普遍显著低于榜面。成本与延迟:视觉输入的 token 计费远高于文本(一张高分辨率图常抵几百到上千 token),多轮图像对话的成本增长比纯文本快一个量级;延迟上,首 token 时间受图像编码支配,大图预处理经常比生成还慢。

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。