#工具调用 (5)

HarnessMM：面向智能体执行框架 Token 效率的递归自我改进

智能体执行框架常在工具返回反馈后反复调用推理模型，即使前一次调用已经确定了下一步动作。HarnessMM 在模型与工具边界复用已验证的可执行决策，以可执行决策图保存动作、字面参数、因果依赖和公共守卫，并通过受保护决策复用与认证回调替换跳过后续慢推理；遇到新语义、证据不足或选择器弃权时仍回到原始执行器。方法还以训练反馈递归改进配套框架配置，并由验证集选择部署配置。HumanEval、工业框架、MBPP、ALFWorld 与 GAIA2 等实验显示，在完整任务口径下可显著降低 Token 消耗，部分设置还提升成功率。

Yuhua Jiang, Chang Xu, Feifei Gao · 410次阅读 · 2026年10月23日

智能体运行时递归自我提升

2026年10月23日

OpenVLHarness：真实世界视觉智能体工具调用与多模态记忆

多模态大语言模型（MLLM）在视觉推理上进步迅速，但许多任务所需的证据无法仅靠内部推理获得：作者在 22 个基准上的对照实验显示，单纯提高基础模型的推理预算只能带来有限提升。这类任务需要接地感知、外部知识与数值测量，且来自异构工具的输出必须被模型读懂、并在多轮推理之间保留。本文提出 OpenVLHarness，一个围绕「能力层」与「持久多模态记忆」组织起来的多模态推理 harness。能力层把任务级工具接口与证据渲染结合在一起，为异构后端提供一致的访问方式，并把它们的输出转换成模型可读的观察；持久多模态记忆在整条查询过程中，把相应的图像、结构化数据与网页引用保存为可寻址工件；编码接口则在已存数据上执行生成的程序，实现跨工具结果的组合计算。三者共同支撑「获取—检视—组合」多模态证据的迭代过程。在 22 个基准、8 个开源与闭源骨干上的评测中，OpenVLHarness 相对同配置无工具基线平均提升 9.7–12.6 分，其中 Qwen3-VL-8B 提升 11.2 分、Kimi K3 提升 9.7 分、GPT-6 Astra 提升 9.9 分；GPT-6 Luna 在中等推理预算下，OpenVLHarness 比最大推理预算下的基础模型、Codex 与 Visual Sketchpad 高 7.7–8.5 分，而模型 token 开销最多只有它们的 37%。

Yu Zhou, Cheng-Fu Yang, Rui Sun · 464次阅读 · 2026年10月19日

Multimodal ReasoningTool Use

2026年10月19日

多 harness 强化学习完全指南：在 Claude Code、Codex 里直接训练模型——HF 团队用 2.6B 小模型验证跨 harness 训练

同一个模型换个 agent harness 表现判若两人：GLM-5.2 在 SWE-bench Pro 上一个 harness 23%、另一个 52%；受控实验里换 harness 移动 13 个点，同 harness 换模型只移动 2.5–5 个点。Hugging Face 团队（Adithya S Kolavi、Joel Niklaus、Lewis Tunstall、Leandro von Werra 等，联合 Liquid AI）发布的这篇长文给出开放解法：在 Claude Code、Codex、OpenCode、Mini-SWE-Agent 这些真实 harness 里做 agentic RL，harness 一行代码不改。框架三件套——OpenEnv 提供与环境/训练器共享的标准接口，capture proxy 以「会话即钥匙」方式截获模型端点上的精确 token id、逐 token 行为 logprob 与损失掩码（强制全分布采样，top_p=1.0），Harbor 提供 40+ harness 适配器与 26 种沙箱后端，TRL 的 Async GRPO 消费带掩码的训练序列。用 1 万小时级数据之外的实打实数字说话：LFM2.5-2.6B 四 harness 训练后平均 pass@1 从 42.2% 升到 54.2%，四个 harness 全涨，已解任务工具调用少 31%；只训 OpenCode 的对照组增益几乎锁在自己家里。文章还诚实交代了 SFT 对照（RL 54.6% vs SFT 47.5%）、Qwen 先涨后崩的完整归因（输出预算耗尽、不交卷空转、奖励项被钻空子导致 0.740→0.178）以及 proxy 并发上限等工程边界。

博客

强化学习智能体运行时

3:28

Daily发布PhoneLLM语音智能体开源模型

@kwindla · 651次播放 · 2026-08-27

PhoneLLM语音智能体

1:06

Thea：将机器人能力封装为工具的具身智能框架

@walterzhu8 · 532次播放 · 2026-08-13

具身智能Agent

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。