CUA-Master：开放世界递归改进框架

研究背景与问题

计算机操作智能体需要理解自然语言目标，在桌面、网页、命令行和跨应用工作流中连续执行动作，并由环境验证任务是否完成。与单轮问答相比，这类任务同时承受长时程误差累积、界面状态不可逆和应用组合爆炸三重压力。模型能力并非唯一瓶颈，训练数据的多样性、可控制性和轨迹可靠性共同决定了能力上限。

现有训练流程大多是单向的：先由人工或模型构造数据，再训练模型，最后在新基准上测分。数据生产阶段不知道模型下一步会在哪些应用或操作上失败，模型也就无法把有限预算集中到真实缺口。CUA-Master 将这种静态管线改为外层的世界、数据、模型闭环，让评测暴露的弱点反过来决定下一轮要采什么、合成什么以及训练到什么难度。

另一类递归改进方法会让模型从自身经验中继续学习，但探索范围仍可能被困在既有知识内。模型不断强化熟悉的操作分布，却很难主动发现未见过的新软件、新工作流和新交互方式。作者据此把外部开放世界作为必需的信息入口，用真实教学视频提供模型内部生成器没有的长期知识。

仅靠视频也不足以构成训练数据。教学视频通常混合讲解、广告、镜头切换和非操作片段，监督信号在时间上稀疏，重建出的动作还可能与环境实际状态不一致。CUA-Master 将视频处理分成两个阶段：先从粗粒度视频中挖出任务，再通过视觉与语义双路径重建轨迹，最后把真实任务抽象为能在虚拟机中组合和执行的能力原语。

合成任务若只改写自然语言指令，会得到表面不同但操作结构相同的数据。本文以“原语数量 K”和“应用数量 N”显式控制任务复杂度，并通过环境要求、前置条件和验证器约束组合范围。这一设计把数据扩增从文本改写转为可审计的执行结构组合，同时为后续强化学习提供难度标签与结果奖励。

任务与动作空间

论文把任务表示为由指令、交互环境和任务验证器构成的三元组。验证器不是辅助说明，而是任务定义的一部分，因为它决定一条轨迹是否真正完成了目标。形式化表示为：

$$\mathcal{T}=(\mathcal{I},\mathcal{E},\mathcal{V})$$

其中，I 是自然语言指令，E 是可执行环境，V 是判定目标是否达成的验证器。模型在第 s 步观察到环境画面与历史后，按照策略生成一个或多个原子动作：

$$\mathbf{a}_{s}\sim\Pi(\cdot|\mathcal{I},o_{s},h_{s})$$

这里的 a_s 可以是一条单击、一次滚轮操作，也可以是终端命令或工具调用。动作批次执行后环境更新并返回新观察。一个完整轨迹由初始观察、动作序列和终止观察构成：

$$\mathcal{X}=\{o_1,\mathbf{a}_1,\ldots,o_S,\mathbf{a}_S,o_{S+1}\}$$

CUA-Master 的统一动作空间同时容纳图形界面操作与命令行操作。鼠标坐标归一化到 [0,1000]，因此同一个动作可以在不同分辨率虚拟机中重放。命令行动作通过 shell.exec 返回标准输出、错误流和执行状态，注册工具通过 tool.call 调用，finish 负责结束回合。

官方实现把动作类别定义为图形界面、命令行、工具和控制四类，并在动作入口校验参数集合、坐标范围、滚动幅度和鼠标键。下面的实现与论文对统一动作接口的描述一致：

# cuamaster/action_space.py
ActionCategory = Literal["gui", "cli", "tool", "control"]

@dataclass(frozen=True)
class CUAAction:
    type: str
    args: dict[str, Any]

    def validate(self) -> None:
        validate_action(self)

def _require_coord(value: Any, name: str) -> None:
    _require_number(value, name)
    if value > 1000:
        raise ValueError(
            f"{name} must be in normalized 0-1000 coordinates"
        )

环境后端与模型动作解耦后，图形界面适合视觉检查、菜单选择和状态确认，命令行适合批量文件处理、数据变换和程序执行。实验显示，两种模式不是简单叠加，而是在不同任务阶段承担互补职责。

双层递归飞轮

外环从开放世界发现应用和工作流，把其中可执行的部分构造成任务与轨迹，再用这些数据训练模型。模型迭代后产生新的能力画像，覆盖不足和失败模式又成为下一轮探索的方向。该循环将“模型已经会什么”与“世界还需要模型会什么”分开，避免只凭模型自我采样来定义训练分布。

内环负责把外部知识变成规模化数据。开放世界播种提供真实但稀疏的种子任务；自催化传播把种子拆成能力原语，再组合为更复杂、更可控的新任务。前者保证数据有真实来源，后者提高覆盖范围与难度密度，两者缺一不可。

flowchart TB
    OW[Open-world videos and applications]
    BF[Evolving model weakness feedback]
    DS[Data construction]
    MT[Model training]

    subgraph INNER[Inner data flywheel]
        SS[Open-world seeding]
        TR[Visual-semantic reconstruction]
        PR[Primitive extraction]
        CP[Constrained composition]
        RB[Snapshot rollback collection]
    end

    OW --> SS
    SS --> TR
    TR --> PR
    PR --> CP
    CP --> RB
    RB --> DS
    DS --> MT
    MT --> BF
    BF --> OW
    MT --> OW

图中的关键连接不是常见的“生成数据后训练”直线，而是从训练模型返回开放世界探索的反馈边。作者报告，随着迭代推进，数据分布会主动提高软件开发、科学研究与生产力场景的占比，同时降低初始阶段商业管理数据的集中度，最后在强化学习阶段趋向更均衡的覆盖。

开放世界播种

作者先在应用分类体系下组织检索空间。该体系包含 8 个主领域、36 个子领域和 650 多个应用，检索词由应用名与“教程”“如何做”“指南”等操作导向词组合而成。候选来源覆盖 YouTube、TikTok 和 Bilibili，随后按来源身份和规范化标题去重。

元数据过滤检查视频时长、上传时间、来源可用性和应用分类一致性，轻量噪声过滤器再排除推广、娱乐、语言教学以及仅偶然提及软件的内容。系统使用 Whisper-Large-v3 和 Faster-Whisper 提取带时间戳的转录，并由标注器给出 0 到 5 的计算机操作适用性评分、计算机操作是否出现、轨迹是否可重建、画面是否清晰等结构化判断。

一个教程往往包含多个工作流。任务挖掘模块联合元数据、转录和均匀采样帧，把视频切分为若干独立时间段。下式表示标注器从处理后的视频与转录单元中输出任务数量、起止时间和任务定义：

$$\{\hat f_1,\ldots,\hat f_n\}\stackrel{\mathcal A}{\longrightarrow}\{(t_i^s,t_i^e,\mathcal T_i)\}_{i=1}^M$$

切分只保留界面状态连续、操作可观察的区间，排除开场介绍、广告、纯讲话和幻灯片讲解。这样，一条长视频可以贡献多个可独立执行的任务，粗粒度视频语料由此变成任务级监督。

视觉与语义双路径重建

种子任务确定时间范围后，系统同步运行语义路径和视觉路径。语义路径按“然后”“接着”“之后”等连接词把转录切成原子子句，再识别包含点击、按下、滚动、拖拽等动作表达的子句，形成语义触发时间集合。视觉路径用 FFmpeg 计算相邻帧的外观变化，当变化分数超过阈值时形成视觉触发，捕捉菜单打开、对话框出现、页面跳转或内容更新。

只有两个通道在时间窗口内相互支持时，候选才进入边界格。形式化约束为：

$$\mathcal C=\{(t_i^{\mathrm{sem}},t_j^{\mathrm{vis}})\mid |t_i^{\mathrm{sem}}-t_j^{\mathrm{vis}}|\leq T\}$$

其中 T 是允许的时间窗口。这个交集同时抑制口头描述但画面未变化、以及画面发生装饰性变化但用户没有执行操作的两类误检。标注器随后检视局部转录和动作前后帧，删除非操作变化，并通过增加、删除、拆分或合并边界修正动作区间。

通过复核的候选会被转换为带交互坐标、文本输入和其他参数的统一动作。轨迹验证器继续删除重复动作，在明显的时间或语义断裂处拆分序列，只保留合格轨迹。视觉与语义互为证据，使重建过程不依赖单帧画面或单句转录。

原语化与可控组合

开放世界种子解决了真实性，却不能覆盖操作组合的巨大空间。CUA-Master 把种子任务及其轨迹分解为应用级能力原语。每个原语不是一个完整任务，而是可复用的操作能力，并附带应用身份、前置条件、环境要求和验证器片段：

$$(\mathcal T^{seed},\mathcal X^{seed})\stackrel{\mathcal A}{\longrightarrow}\{p_1,\ldots,p_n\},\quad p_i=(u_i,a_i,\mathcal P_i,\mathcal E_i,\mathcal V_i)$$

五个元素分别是应用、能力、前置条件、环境要求和验证逻辑。语义相同的原语会被规范化和去重，但前置条件、环境依赖或验证逻辑不同的变体必须保留。这样既抽象掉具体文件与内容，又不会抹掉执行所需的依赖关系。

给定复杂度预算 K 和应用集合，组合器从原语库中选出兼容序列，并同时合成任务指令、环境配置和任务级验证器：

$$(\mathcal B(\{u_1,\ldots,u_N\}),K)\stackrel{\mathcal A}{\longrightarrow}\mathcal T^{syn}=(\mathcal I^{syn},\mathcal E^{syn},\mathcal V^{syn})$$

当 N=1 时产生单应用任务，N>1 时产生跨应用任务。组合前检查各原语的前置条件和环境要求，冲突项不能拼接；合成任务的前置条件是兼容原语条件的合取。复杂度由原语数量和应用数量直接控制，而不是让语言模型任意改写。

官方组合器默认从 2 到 4 个原语构建变体，支持顺序执行、参数变化、状态依赖和跨应用交接四类策略，并用环境能力集合判断一个能力产生的效果是否满足后续能力的要求：

# cuamaster/propagation/generation/composer.py
PrimitiveComposer(
    min_primitives=2,
    max_primitives=4,
    strategies=(
        "sequential",
        "parameterized",
        "state_dependent",
        "cross_app_handoff",
    ),
)

required = {
    item
    for capability in capabilities
    for item in capability.required_vm_capabilities
}
if not environment.supports(sorted(required)):
    return False

原语提取器还有两道证据闸门：没有源证据的能力会被丢弃，环境不支持的虚拟机能力也会被丢弃。该实现把论文中的“真实来源”和“可执行环境”落实为代码条件，避免自由生成的抽象能力直接进入训练集。

快照回滚与可靠采集

复杂任务执行失败时，前面的动作通常仍然有效，错误可能只发生在某个局部点击或参数输入。若每次都从初始快照重跑，前面已经验证过的状态会被浪费。CUA-Master 让检测器联合任务、轨迹和环境，输出最早的状态偏离步骤及基于执行事实的反馈：

$$(\mathcal T,\mathcal X,\mathcal E)\stackrel{\mathcal A}{\longrightarrow}(\hat s,\mathcal F)$$

反馈描述观察到的失败或低效原因，但不直接给出有特权的标准动作，从而降低模型对答案泄漏的依赖。系统回滚到偏离步骤之前最近的稳定快照，保留有效前缀，丢弃无效后缀，让策略携带诊断提示继续执行。

快照不会保存整段视频，而是保存虚拟机状态和轻量状态签名，包括活动应用、窗口布局、相关文件和控制器元数据。增量快照在稳定边界创建，比从初始状态完整重放更省时间。重试持续到验证器通过或预算耗尽，最终只保留成功且更高效的轨迹分支。

这一机制把重试变成复用前缀的分支搜索。论文的难度实验显示，在 40 个原语、3 个应用的组合上，方法取得 49.8% 的成功率，而相同重试预算下从头重跑只有 14.6%；在最难的 50 个原语、8 个应用组合上，两者分别为 18.7% 和 0.0%。

训练配方

训练先使用监督微调学习广泛操作能力，再在最后一轮使用强化学习突破长时程决策上限。第 i 轮监督微调使用前 i 轮累计的种子轨迹和合成轨迹：

$$\mathcal D_i^{SFT}=\bigcup_{t=1}^{i}(\mathcal X_t^{seed}\cup\mathcal X_t^{syn})$$

每轮都从同一个基础检查点开始，避免连续微调造成优化漂移，同时把新数据加入原始数据。三轮监督微调分别加入 6.3 万、3.8 万和 1.4 万条任务及轨迹，最后一轮累计约 11.5 万条。随后使用约 1.2 万条高质量合成任务进行强化学习，总数据量约 12.7 万条。

题目以 Qwen-3.5-27B 为底座。监督微调采用 AdamW、峰值学习率 5e-6、余弦调度、0.03 预热比例和 128 批大小。强化学习采用面向计算机操作智能体改造的 GRPO 方法，学习率为 1e-6，批大小为 64；每个任务在真实虚拟机中采样 8 条轨迹，每批最多包含 512 条轨迹。

训练集群为 16 个节点，每节点 8 张 NVIDIA H200-141GB GPU。推理环境支持 Linux、Windows 和 macOS，包含 100 多种环境，可并发运行 2000 多台虚拟机。每轮迭代依据领域级和应用级失败案例、轨迹成功率调整下一轮数据规模与难度。

实验设置与主结果

主实验覆盖两个纯图形界面基准 OSWorld Verified、OSWorld 2.0，以及两个图形界面加命令行混合基准 WeaveBench、Agents' Last Exam。后者的主指标是全通过率。对比对象既有 Qwen、Minimax、Kimi 等通用模型，也有 OpenCUA、GUI-Owl、EvoCUA、ScaleCUA、Qwen-CUA 和 UI-Mate 等专用计算机操作模型。

CUA-Master-27B 在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents' Last Exam 上分别达到 80.2、36.9、43.9 和 25.0。与同为 27B 的 UI-Mate-27B 相比，四项成绩依次提高 2.6、12.9、25.6 和 11.8。混合动作空间的优势在 WeaveBench 和 Agents' Last Exam 上尤其明显。

基准	评测模式	CUA-Master-27B	UI-Mate-27B	提升
OSWorld Verified	纯图形界面	80.2	77.6	+2.6
OSWorld 2.0	纯图形界面	36.9	24.0	+12.9
WeaveBench	图形界面 + 命令行	43.9	18.3	+25.6
Agents' Last Exam	图形界面 + 命令行	25.0	13.2	+11.8

OSWorld Verified 的领域分解显示，操作系统任务达到 91.6，专业任务达到 88.0，办公任务为 83.1；工作流任务只有 70.7，是五个领域中最低的一项。这说明模型已经具备较强的单应用操作与系统操作能力，但多步骤流程仍有较大改进空间。

OSWorld Verified 领域	任务数	分数	解读
Office	117	83.1	大规模办公场景表现稳定
Professional	49	88.0	专业软件操作较强
Workflow	93	70.7	跨步骤流程仍是最弱领域
Daily	78	78.8	日常应用完成度较高
OS	24	91.6	系统级操作接近饱和
总体	361	80.2	综合能力接近专用模型前列

OSWorld 2.0 更强调复杂、开放和长时程任务，总体成绩降至 36.9，但研究教育、个人服务、商业金融等领域的分布并不均匀。WeaveBench 总体为 43.9，Web 前端和桌面系统分别达到 58.4 与 55.3，设计与空间 CAD 只有 26.3 与 25.9。高难度专业工具仍暴露出较大的能力差异。

效率、泛化与动作模式

OSWorld Verified 的平均运行时间为 8 分钟。OSWorld 2.0 上，CUA-Master 以 36.9 对 36.5 略高于 Qwen-3.8-27B，同时将运行时间缩短 24%。WeaveBench 的 34 分钟成绩与 GPT-5.6-Luna 相当，但少用 28% 的时间；在 Agents' Last Exam 上，与 Kimi-K3 和 Qwen-3.8-Max 得分相同时，运行时间少 34% 到 36%。

跨平台结果进一步说明动作表示并非只适配 Linux。模型在 WindowsAgentArena、MacOSWorld 和 MacAgentBench 上分别达到 56.2、43.0 和 59.9。Windows 成绩低于同规模部分基线，但 macOS 两项表现较强，说明开放世界数据与统一动作接口能够迁移到不同桌面系统。

跨平台基准	CUA-Master-27B	Qwen-3.5-27B	Qwen-3.8-27B
WindowsAgentArena	56.2	40.7	54.4
MacOSWorld	43.0	30.4	39.2
MacAgentBench	59.9	44.3	56.6

动作模式消融给出了最直接的设计证据。WeaveBench 上，混合模式得到 43.9，纯图形界面只有 6.6，纯命令行只有 11.5；混合模式比纯图形界面少用 23.8% 的步骤。Agents' Last Exam 中，混合模式从纯图形界面的 5.9 提升到 25.0，步骤减少 26.7%；OSWorld 2.0 的步骤减少 43.8%。

基准	纯图形界面	纯命令行	混合模式	混合模式步骤变化
WeaveBench	6.6	11.5	43.9	比纯图形界面少 23.8%
Agents' Last Exam	5.9	未报告	25.0	比纯图形界面少 26.7%
OSWorld 2.0	未报告	未报告	36.9	步骤减少 43.8%

这些差值不能简单解释为“命令行模型更强”。纯命令行缺少视觉确认，在需要界面定位和状态检查的任务中会中断；纯图形界面则在批量文件处理、结构化数据变换和程序调用上浪费大量步骤。混合模式的收益来自根据当前状态选择合适抽象层级。

数据飞轮的有效性

作者用任务嵌入的 t-SNE 分布检查数据多样性。CUA-Master 构造的任务覆盖 AgentNet、VideoCUA、ScaleCUA、WildGUI、CUA-Gym 和 ProCUA-SFT 等多个既有数据分布，并延伸到这些数据集覆盖较稀疏的区域。分布重合说明合成任务没有脱离真实计算机操作语义，向外延伸则说明原语组合确实增加了操作覆盖。

回滚机制的收益随任务复杂度上升而扩大。5 个原语、1 个应用的简单任务上，从头重跑已有 74.0% 的成功率，CUA-Master 为 95.4%；到 40 个原语、3 个应用时，基线降至 14.6%，方法仍保持 49.8%。当组合达到 50 个原语、8 个应用时，基线为 0.0%，方法仍能完成 18.7%。

原语数 / 应用数	从头重跑	CUA-Master	绝对提升
5 / 1	74.0%	95.4%	+21.4
10 / 1	53.0%	89.1%	+36.1
20 / 1	31.5%	83.7%	+52.2
10 / 3	29.2%	62.3%	+33.1
20 / 3	19.3%	56.9%	+37.6
40 / 3	14.6%	49.8%	+35.2
20 / 5	1.9%	32.8%	+30.9
40 / 5	0.4%	24.4%	+24.0
50 / 8	0.0%	18.7%	+18.7

更难的任务在相同重试预算下接近零成功，说明单纯增加采样次数不足以解决结构化长时程错误。保留有效前缀、定位偏离点并从最近稳定状态恢复，才使高难度组合仍可产出训练轨迹。

递归训练曲线显示，OSWorld Verified 与 WeaveBench 随迭代提高超过 25 分。监督微调在相对简单任务上逐渐饱和后，最后的强化学习阶段使 OSWorld 2.0 和 Agents' Last Exam 分别再提高约 15 分。更强标注器带来更大的训练增益，而使用每轮当前策略作为下一轮标注器虽然也有提升，但幅度有限。

方法意义

CUA-Master 的主要贡献不是单项生成技术，而是把数据来源、执行结构、训练阶段和能力缺口放进同一条反馈链。开放世界播种负责引入外部知识，原语库负责把知识变成可组合能力，环境验证器负责保证组合任务可判定，快照回滚负责抬高复杂任务的轨迹产出率。

对机器人基础模型研究，这套结构同样有关联。视觉语言动作系统也需要真实示范、可复用技能、仿真或实机验证以及失败后的局部恢复。本文把“数据生成器”理解为由外部世界、能力原语、环境约束和模型反馈共同构成的闭环，而不是一个只依赖大模型提示词的离线模块。

对计算机操作产品，GUI 与 CLI 混合的意义在于选择正确抽象层级。界面操作适合人类可见的应用状态，命令行适合精确批处理和结构化计算。模型若能理解何时切换，就能减少无效点击和长链路视觉定位，同时保留对图形界面的检查能力。

局限分析

作者明确承认，递归改进依赖大规模环境交互、轨迹采集和迭代训练，计算与基础设施成本很高。快照回滚减少了重复重跑，却仍需要大量虚拟机部署与调度资源。公开实验使用 16 个节点、每节点 8 张 H200-141GB GPU，并支持 2000 多台并发虚拟机，完整复现门槛远高于普通单机训练。

作者同时指出，合成数据质量上限受标注模型能力约束。更强标注器持续带来更大提升，也意味着推理成本和模型可用性会直接影响数据质量。当缺少强标注器时，框架的可访问性和自动化质量都会下降。

独立来看，原语级验证器组合存在语义错配风险。多个局部验证条件同时满足，不必然证明跨应用任务在业务语义上正确；组合规则也可能生成验证过弱、重复检查或对合法捷径过度严格的验证器。论文报告了验证器合成与发布门控，但没有给出跨领域错误接受率和错误拒绝率的系统测量。

另一个边界是评测覆盖。主结果集中在 Windows、macOS 和若干桌面应用，移动端、浏览器多标签协作、企业权限系统和实时协同软件涉及较少。截图观察与命令行输出可以覆盖大量桌面状态，但无法直接代表需要物理传感器、外部组织流程或多用户并发写入的任务。

结论

CUA-Master 用双层递归飞轮把开放世界视频、能力原语、可验证任务、可靠轨迹和模型训练连接起来。它没有把递归改进限定在模型自生成经验内，而是持续从外部世界引入新应用与新工作流，再用模型的实际缺口选择下一轮数据方向。

27B 模型在四个主基准和三个跨平台基准上的结果说明，数据结构和执行机制可以与参数规模同样重要。混合动作空间、视觉语义双路径重建和快照回滚分别解决抽象层级、监督重建与高难度轨迹采集问题。后续工作若能降低虚拟机成本、改进跨原语验证器语义，并把移动端和企业工作流纳入同一体系，这类飞轮会更接近可持续的通用计算机操作训练基础设施。