#Multimodal UI (1)

混合计算机使用：面向通用智能体的程序化、语义与视觉统一接口

该论文提出混合计算机使用接口 HCU，在同一智能体上下文中统一代码与命令行、无障碍语义树和截图鼠标键盘三类交互通道。HCU 通过紧凑观察、最多 64 步批量动作、等待步骤、动作后差异和跨通道目标/布局守卫减少往返并阻止过期输入；在 OSWorld 2.0、OSWorld 1.0、WeaveBench、macOS 与 Windows 基准上同时改善任务表现或交互效率。