#MLLM Agent (1)

OpenVLHarness：真实世界视觉智能体工具调用与多模态记忆

多模态大语言模型（MLLM）在视觉推理上进步迅速，但许多任务所需的证据无法仅靠内部推理获得：作者在 22 个基准上的对照实验显示，单纯提高基础模型的推理预算只能带来有限提升。这类任务需要接地感知、外部知识与数值测量，且来自异构工具的输出必须被模型读懂、并在多轮推理之间保留。本文提出 OpenVLHarness，一个围绕「能力层」与「持久多模态记忆」组织起来的多模态推理 harness。能力层把任务级工具接口与证据渲染结合在一起，为异构后端提供一致的访问方式，并把它们的输出转换成模型可读的观察；持久多模态记忆在整条查询过程中，把相应的图像、结构化数据与网页引用保存为可寻址工件；编码接口则在已存数据上执行生成的程序，实现跨工具结果的组合计算。三者共同支撑「获取—检视—组合」多模态证据的迭代过程。在 22 个基准、8 个开源与闭源骨干上的评测中，OpenVLHarness 相对同配置无工具基线平均提升 9.7–12.6 分，其中 Qwen3-VL-8B 提升 11.2 分、Kimi K3 提升 9.7 分、GPT-6 Astra 提升 9.9 分；GPT-6 Luna 在中等推理预算下，OpenVLHarness 比最大推理预算下的基础模型、Codex 与 Visual Sketchpad 高 7.7–8.5 分，而模型 token 开销最多只有它们的 37%。