Skip to content
←返回博客
GraphRAG 的演进:让系统与评测共同进步
GraphRAGRAG知识图谱

GraphRAG 的演进:让系统与评测共同进步

微软研究院回顾 GraphRAG 从全库理解、LazyGraphRAG 到亚秒级 GraphRAG Zero 的演进,介绍 BenchmarkQED 如何以断言覆盖、聚类召回和主题保真度评测检索证据。

Darren Edge, Jonathan Larson, Cencheng Shen, Ha Trinh2026年11月17日2 分钟阅读32次阅读
EN

智能体失败,并不只是因为背后的模型能力不足。它们同样会因为收到的信息支离破碎而失败。传统检索系统能找到与问题措辞相似的段落,但智能体往往有更苛刻的需求:它必须快速组织人物、事件、主张、文档和既往决策之间的关系,及时形成足以支持下一步行动的上下文。

这正是 GraphRAG Zero 要解决的问题。它是一条研究路线的当前阶段。这条路线从整个数据集的理解起步,经过成本更低的局部与全局搜索,最终走向能在交互速度下准备的代表性上下文。系统演进的同时,BenchmarkQED 也在同步发展。原因很直接:检索一旦变得更便宜、更快,就必须回答同一个问题,即它是否仍然保留了真正重要的证据。

GraphRAG Zero 与智能体面临的上下文问题

概览

  • GraphRAG Zero 能提供彼此连通的上下文,智能体可以在交互速度下持续构建和刷新这些上下文。
  • 该系统来自多年研究积累,使图检索从实验性技术变成了可供应用和智能体部署的基础设施。
  • GraphRAG Zero 已作为 Foundry IQ 中的一个选项提供,底层基于 Azure AI Search,让开发者和客户能够大规模使用图引导检索。
  • Microsoft Discovery 已承诺通过 Foundry IQ 采用 GraphRAG Zero 支持科学研究。GitHub Next 的 Repo Mind Light 则用它把议题、拉取请求与实时代码和文档连接起来。
  • 从数据集级理解走向交互式检索后,成本与延迟都有所下降,同时仍能访问相关且有代表性的证据。
  • 最初的 GraphRAG 论文自 2024 年 4 月以来已获得 3900 次引用,开源仓库在 GitHub 上获得超过 3.6 万颗星。

智能体需要的不是碰巧与提示词相似的文本片段。复杂问题要求检索保留结构:哪些事实属于同一组,哪些主张可以相互支持,证据来自哪里,以及哪些问题仍未解决。随着 AI 系统生成的材料超出人工直接检查的能力,这种需求只会更强。

图就是这种结构的具体载体。GraphRAG 的早期版本让面向整个语料库的问题变得可行,但需要大量语言模型处理。GraphRAG Zero 改变了系统运行所在的工作点:它把语言模型调用从建索引阶段移除,也可以配置成在查询阶段不使用语言模型完成检索。检索由文本嵌入的几何关系驱动,最终响应模型获得上下文前的准备时间可以达到亚秒级。

从研究库到系统与评测协同计划

微软研究院在 2024 年发布第一代 GraphRAG 研究和开源库。它带来了一种新的提问方式,用来处理传统检索增强生成难以应对的问题。GraphRAG 不再只返回孤立事实或段落,而是能够回答有关主题、模式和影响的问题,并覆盖整个文档集合。

它的影响并不限于开源库被采用。GraphRAG 推动领域把注意力从“找到相关段落”转向“为语料库推理组织彼此连接的证据”。新的研究方法、开源实现和行业工具开始探索这一设计空间。该方法还被纳入 Gartner 的生成式 AI 技术成熟度曲线。

对微软内部团队而言,公开发布只是起点,而不是终点。合作项目推动这项研究降低构建成本、提高响应速度,并探索组织知识的新用法。每一次变化都会带来新的评测问题:一个更便宜的系统,可能在答案偏好测试中依然表现不错,却在不知不觉中损失了覆盖面、来源可追溯性或代表性。

团队的回应是让系统与评测共同发展。每一代 GraphRAG 都配有 BenchmarkQED,这是一个用于自动问题合成、评测和数据集整理的开源框架。两条工作线最终把 GraphRAG Zero 带入生产系统。

GraphRAG Zero 目前是 Foundry IQ 中的一个选项。Microsoft Discovery 计划通过 Foundry IQ 使用它来支持科学研究。Repo Mind Light 是 GitHub Next 用于理解代码仓库的工具,已经随附 GraphRAG Zero,并以公共容器形式提供,同时与 GitHub Agentic Workflows 集成。它一方面对议题和拉取请求进行图检索,另一方面实时检索代码和文档,为人类和编码智能体提供有关架构、所有权以及早期决策理由的上下文。

原文还包含一段概览视频 The evolution of GraphRAG,以及一段独立的 第一代 GraphRAG 演示。

便宜且新鲜的上下文也让核验智能体输出变得更容易。VeriTrail 可适用于同时拥有源数据和上下文驱动输出的 RAG 系统。它能检测幻觉,追踪不受支持的内容从何处进入流水线,并判断生成材料对来源的忠实程度。

这些系统及其评测方法的故事,早在团队把问题称为检索增强生成之前就已经开始。

四列示意图展示从全数据集理解到智能体记忆的四代 GraphRAG,以及每一代系统同步发展的评测方法
GraphRAG 系统与评测方法共同演进。新能力暴露出新的测试需求,更好的评测又反过来引导下一代系统设计。图片转载自微软研究院。

GraphRAG Zero 背后的研究

从情报分析走向全局理解

2023 年,团队并没有打算构建一个 RAG 系统。最初目标是探索生成式 AI 如何帮助人们理解大规模数据。更早的研究已经把情报分析方法应用到商业情报、搜索推荐、网络犯罪调查和新闻溯源,还通过一个更广泛的人权技术计划处理相关问题:把证据与行动连接起来、揭示腐败风险,并帮助组织打击人口贩运。

图结构出现在所有这些场景中。它通过导航路径连接搜索查询,通过共同信号连接欺诈操作,并揭示不同新闻故事之间重复使用的文本。语言模型提供了一种更通用的方法:直接从非结构化文本中抽取实体和关系。

第一个具体用例来自一项内部威胁分析合作。分析人员需要把多年报告整合成一套知识体系,并对其进行导航和询问。他们希望看到整个数据集中的模式,同时不能失去把每一项主张追溯到来源的能力。

团队遵循 Ben Shneiderman 提出的信息寻找原则:“先给出概览,再缩放和过滤,最后按需查看细节。”分析人员需要先理解数据的整体形状,之后才能提出精确问题。系统识别出关系紧密的实体社区,再用语言模型总结与之相关的证据。这些社区报告提供了数据集层面的概览,用户可以在此基础上继续探索。

同一套结构支持不同尺度的问题。局部问题可以利用实体和关系的详细描述,全局问题可以通过综合多份社区报告来回答。具体证据与数据集级理解之间的这种往返,后来成为 GraphRAG 的基础。

第一代 GraphRAG

第一代索引既支持直接探索,也支持问答。实体描述、关系描述和社区报告本身就是有价值的分析产物。不过,构建这些内容需要大量语言模型工作,即使应用主要只是想回答问题也是如此。

这种成本形成了设计张力。图表示之所以有用,恰恰因为它把证据组织到原始段落之外;但为每个数据集生成丰富的语义图又可能非常昂贵。下一代系统需要保留有用的结构,同时减少构建和刷新结构所需的模型工作量。

评测一类全新的问题

全局理解还需要一种新的基准。像“这些报告讨论的主要风险是什么”这样的问题,可以有许多合理答案。只检查单个事实是否被检索到的基准,无法判断系统是否覆盖了相关证据的整体范围。

因此,早期评测定义了答案的三项质量:

  • 全面性:答案覆盖相关方面和细节的程度。
  • 多样性:答案提供的观点与洞见范围。
  • 赋能性:答案帮助读者理解材料并形成有依据判断的程度。

研究者使用 LLM-as-a-Judge 方法,对成对答案逐项比较。他们还为任意数据集开发了基于活动的查询合成方法。给定数据集描述后,语言模型会识别代表性用户和活动,再生成需要理解整个数据集才能回答的问题。这样的评测与真实活动相连,而不是依赖基准作者事先选定的事实。

这些方法后来成为 BenchmarkQED 的基础。其中,AutoQ 组件根据人物角色及其任务,合成基于活动的查询;评测工具则比较 RAG 能力、答案质量和成本。

降低全局理解的成本

GraphRAG 的第一次扩展使用传统自然语言处理构建概念共现图,再根据相关源文本生成社区报告,从而降低了建索引成本。这项能力如今作为 Microsoft GraphRAG 库中的快速索引选项提供。

第二代系统 LazyGraphRAG 更进一步,把所有生成式模型工作都推迟到查询时。轻量图负责组织数据,语言模型推理则集中在当前问题所需的证据上。在报告中的评测里,建索引成本降到了完整 GraphRAG 的 0.1%。在查询前保留源文本,也避免了反复摘要可能擦除的细节。

团队的下一个目标,是用一种方法覆盖从局部到全局的所有问题。AutoQ 沿着两个维度扩展基于活动的全局问题:来源,即问题来自数据还是代表性活动;范围,即局部还是全局。由此产生四种问题类别:数据局部、活动局部、数据全局和活动全局。

团队针对接近 1400 篇新闻文章组成的集合,在这四类问题中生成了 200 个问题。使用相同生成模型时,LazyGraphRAG 在全部四类问题上的总体答案质量胜率都高于对照方法。评测还揭示了不同专门技术的相对优势:向量检索在局部问题上表现良好,GraphRAG Global Search 在全局问题上表现良好,组合方法则更有效地覆盖完整谱系。

这些方法随后进入多个部署场景。Microsoft Discovery 使用 GraphRAG 和 LazyGraphRAG 支持科学研究,也为后来承诺通过 Foundry IQ 采用 GraphRAG Zero 奠定了基础。在微软内部,威胁情报、事件调查、工程、科学和组织知识管理等工作持续定义着成本、延迟和证据质量方面的要求。

代际 主要进展 对应的评测方法
GraphRAG 通过实体、关系和社区报告实现全数据集理解 人物驱动的全局问题,以及成对答案质量判断
LazyGraphRAG 把语言模型工作推迟到查询时,降低建索引成本 在局部和全局范围测试数据问题与活动问题
GraphRAG Zero 用嵌入关系图生成亚秒级代表性上下文 来源有据的断言,加上分块精度、聚类召回率和主题保真度
智能体记忆研究 为智能体活动期间不断变化的知识提供高效上下文 分级断言覆盖率,以及可复用的断言与分块判断

评测 GraphRAG Zero:从答案走向证据

LazyGraphRAG 通过把模型工作移到查询时降低了准备成本,但答案生成前的等待仍然限制交互使用。GraphRAG Zero 用嵌入关系图组装相关且有代表性的上下文,从而消除这段等待。在实时配置中,生成式模型只负责最终回答。下面报告的研究结果解释了产品发布背后的方法;微软研究院也明确说明,这些结果不是对 Foundry IQ 服务的测量。

仅看答案偏好,无法区分是检索到的证据更好,还是组织与写作更好。因此,团队希望同时测量两种多样性:相关多样性,即内容多样且与查询相关;代表性多样性,即覆盖情况能够反映相关数据的主题结构。他们还需要衡量答案模型是否真正用上了这些证据。

AutoQ 的数据驱动查询合成会生成有来源支持的断言,并连同问题一起给出。同一份源材料定义了正确答案应当包含什么。对于局部、关联多跳和全局查询,这些断言成为可以测试的要求。全局问题的主题断言还可以关联到支持它的事实。

除答案级检查外,团队还加入了基于相关性的检索指标。语言模型对源文本分块作出判断,使上下文可以脱离生成答案独立评估。下面的表 1 总结了三项可操作定义。分块精度以已判断的分块为单位;聚类召回率以相关主题聚类为单位,因此衡量的是广度,而不是传统文档级召回率;主题保真度比较检索到的相关证据在各聚类上的分布与参考分布。

表格定义分块精度、聚类召回率和主题保真度三项互补的检索质量指标
表 1。BenchmarkQED 评测检索到的上下文是否既相关又有代表性。分块精度衡量选择质量,聚类召回率和主题保真度衡量广度与比例。表格转载自微软研究院。

GraphRAG Zero 研究把这些指标应用到播客转写文本和新闻文章上,共使用 200 个合成问题,其中多跳问题和全局问题各占一半。在 50 个分块的检索预算下,全局答案断言覆盖率从向量 RAG 的 53.4% 提高到 GraphRAG Zero 的 57.4%。两个系统使用相同的嵌入模型和答案生成器,并且每个查询只生成一个回答。

GraphRAG Zero 平均用 0.93 秒准备答案上下文,这个时间包含查询嵌入,但不包含答案生成。

亚秒级检索改变了提问体验。LazyGraphRAG 和深度研究式工作流可能需要一分钟甚至更久来收集和分析证据,而 GraphRAG Zero 几乎可以立即开始生成答案。这就是“Zero”的实际含义:检索可以跟上交互对话的节奏,并且检索阶段不强制调用模型。

研究还揭示了一项会被单一相关性分数掩盖的权衡。GraphRAG Zero 获得更高的聚类召回率和主题保真度,而向量 RAG 保持更高的分块精度。换句话说,即使直接看起来相关的单个分块比例较低,更具代表性的证据仍能支持更完整的全局答案。这一结果有助于解释,为什么不能只用分块精度指导检索设计。

可选的推理扩展可以通过额外模型处理提高全局答案覆盖率。GraphRAG Zero 已在微软内部被广泛使用;通过 Foundry IQ 和 Repo Mind Light 发布后,这一研究方向将进入更多应用和智能体工作流。在这些场景中,检索质量必须与延迟、成本和易用性平衡。

GraphRAG Zero 的下一步

GraphRAG Zero 是下一阶段的根基,而不是整个计划的终点。它的采用创造了从真实应用需求中学习并评测上下文改进的机会。团队还在研究帮助智能体知识持续变化的补充方法,为不同检索需求的工作负载拓宽选择。

为不断变化的智能体知识提供上下文

对智能体来说,检索到的上下文可能支持一次中间解释、一个规划步骤,或一项关于下一步调查什么内容的决策。底层数据也会随智能体活动改变:文档和代码被更新,观察结果不断累积,早期结论又会成为后续工作的输入。

正在进行的研究关注如何在知识变化时高效准备有用上下文。它必须同时支持普通问答和智能体反复执行的检索。设计空间包含使用或不使用嵌入的多种配置,使应用可以根据工作负载选择合适的方法。

为了评测这项工作,团队使用 BenchmarkQED 的数据驱动问题和断言测量分级证据覆盖率。语言模型把每个分块对断言的支持程度判断为完整、部分或缺失,分别记为 1、0.5 或 0。系统取检索分块中的最佳支持,再对每个查询内的断言取平均,最后对查询取平均。

重复相同证据不会获得额外分数;补上此前缺失的事实则会提高分数。因此,这项指标关注检索上下文中是否包含所需内容,而不是因为答案生成器能从残缺证据中勉强作答就给予奖励。

GitHub Next 的 WikiKB 已把这一方向应用到面向人和智能体的仓库原生知识库中。知识以可审查的 Markdown 保存,带有来源信息和 Git 历史,索引与检索则在本地运行。人和智能体可以在同一工作环境中检查、维护并复用项目知识。

在循环工程中复用证据

循环工程把评测变成重复周期:修改系统,用固定标准测试,再根据结果指导下一轮修改。BenchmarkQED 的分块级断言评测正适合这种模式。在一个周期内,数据集、问题、断言和判断流程保持不变。系统版本变化时,可以复用缓存的断言与分块判断结果,只对尚未评估的证据进行新判断。

这样既能降低反复检索测试的成本,又能保持衡量进展和发现回归问题的共同基础。下图展示了从系统修改到评测再到比较的循环,以及仍有效的证据判断如何被复用。

循环工程示意图展示系统修改、按固定标准评测、比较收益与回归、再次修改,并在此过程中复用缓存的断言与分块判断
图 2。循环工程在一个开发周期内固定评测标准,比较不同系统版本,并把仍可复用的证据判断带入下一轮。图片转载自微软研究院。

循环工程的早期结果也开始出现在游戏开发和图布局等开放领域。评测新颖性和深度等质量,不能只依赖预先定义的正确答案。如何识别有意义的进展,本身也是设计循环的一部分。

回顾整个过程,GraphRAG 的每一次进步都遵循同样模式。新能力暴露出质量度量中的缺口,弥补缺口又塑造下一代系统。GraphRAG Zero 正是这一循环的产物。当前研究进一步把循环本身作为研究对象,探索方法与评测指标如何共同演进,同时在每个开发周期内保持可比性。

随着 GraphRAG Zero 部署到 Foundry IQ 和 Repo Mind Light,这一循环再次扩大。真实应用会提出任何现有基准都未覆盖的需求。BenchmarkQED 以开源方式提供,使团队能够用同一套方法评测自己的系统,衡量它们对整个语料库进行整体推理的能力。当检索成为智能体推理与记忆的基础时,进步不能被视为理所当然,而必须在每一轮迭代中测量。

来源:The evolution of GraphRAG: Advancing systems and evaluation together,作者 Darren Edge、Jonathan Larson、Cencheng Shen、Ha Trinh,微软研究院,2026 年 11 月 17 日。图片和表格转载自原文。

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。