SOTA · 语言与推理

LLM

基座模型:预训练与后训练、架构与长上下文、推理服务栈与每 token 成本。

尺子智能:Artificial Analysis 智能指数、GPQA、MMLU-Pro、Arena Elo。容量:有效长上下文召回、模态。供给:tok/s、$/1M tokens、开放权重许可

SOTA 阶梯

推理开发梯顶A

Claude Opus 5.5:用 1M 上下文与自适应思考把 agentic 主力档压到 $4/$20

Anthropic 面向 long-running agentic coding and knowledge work 的固定版本(claude-opus-5-5,退役不早于 2027-09-22):上下文 1M、单次输出 128K、自适应思考默认 medium,$4/$20 每百万 tokens,梯顶三条里最便宜。Artificial Analysis 智能指数(2026-09-22)前三行都是它的思考档(max 57.62、xhigh 55.99、high 53.58),默认 medium 51.24 排第 8,同门 Fable 5.1(53.35)与 Astra(52.67)夹在中间。两处打折:前三行带 with fallback、与 Astra 的 (max) 口径不同;Terminal-Bench 第 8 的 53.94% 属上一代 Opus 5。闭源只走 API;自适应思考是黑箱,成本按 p90 预算;1M 上下文不等于 1M 有效注意力。选型:多数负载用它,最高档拉满还不够才换 Fable 5.1(贵 2.5 倍、指数高 4.3 分)。置信度 A(已确认);未做能力复现。

57.62AA 智能指数已确认 · 2026-09

生产Anthropic官网

LLM开发梯顶C

Jev:TypeSafe 首个 System One Model,把决策做成类型安全并便宜两个数量级

TypeSafe 首个 System One Model:输出不是字符串而是 Noul/Choice/Score 三种提问原语下的类型安全结构化值,RLCD 训练校准决策概率。官方 13 问并行实验单次调用比拆 13 次便宜约 12.2 倍、快约 10.0 倍;四工作流平均准确率 67.8%、单例 0.0004 美元、0.4 秒,准确率与 opus 5 / sol 同档而成本离开近两个数量级;输入 0.042 美元/M tokens、输出免费。附 OpenJev 本机复现与八处毛边清单。

67.8%四工作流平均准确率(官方评测)厂商宣称 · 2026-09

产品TypeSafe官网 Repo

LLM开发梯顶A

MiMo-V2.6:把 Live RL 做成 30 步、75 万轨迹与美元的公开账本

小米开源 MiMo-V2.6 Pro/Flash:30 步 Live RL、约 75 万条轨迹、成本公开 850k/2.62M 美元,7k+ RL 环境同批开源;AA 智能指数 46 登顶开源阵营,DeepSWE v1.1 样本外 +17/+14 分;Vibe World、CUA、科研与内容创作四条演示线全开。自我改进从口号变成可核对账本:步数、轨迹数、美元都摊在桌面上,第三方可按同一口径复算性价比。

46AA 智能指数(开源榜首)已确认 · 2026-09

产品Xiaomi官网 Repo

LLM开发梯顶C

GLM-5.3:同基座纯后训练的开源权重编码旗舰

Z.ai 在 GLM-5.2 的同一基座上只做后训练,得到 744B-A40B 的 GLM-5.3:自研 Z.ai Code Bench 比 5.2 提升 50%,Terminal Bench 3.0 28.3、Agents' Last Exam 28.5 拿开源权重第一,AutomationBench 48.2 与 GDPVal-AA v2 1769 超过官方图上全部闭源对照;CyberGym 漏洞发现 SOTA,利用链增益为未单独训练的涌现能力。同批的 320B-A18B Flash 换新基座,首次混用稀疏与线性注意力攻长上下文服务成本。权重 FP8 与 BF16 公开,SGLang、vLLM、KTransformers 与昇腾全栈可部署。

28.3Terminal Bench 3.0(开源权重第一, 官方图)厂商宣称 · 2026-08

产品Z.ai (Zhipu AI)官网 Repo

推理开发梯顶A

Claude Fable 5.1:换一把尺子才登顶的长时程 agentic 档

Anthropic 面向 demanding reasoning and long-horizon agentic work 的固定版本(claude-fable-5-1,退役不早于 2027-09-01):默认思考强度 high、$10/$50,是同门 Opus 5.5 的 2.5 倍,默认 high 即默认成本行为。地位靠换尺子才成立:Arena Agent 净改进第 1(13.71,confirmed_success 19.83、praise 31.83),第 2 是 GPT-6 Astra(11.54/17.70/32.79),Opus 5.5 未进前八;Terminal-Bench 4.0 第 2、57.88%(n=330),比榜首 Astra 的 58.18% 低 0.3 点,而 pass@5 0.7879 高于其 0.7121,单次略低、五次更稳;智能指数 max 档 53.35 排第 4。画像一致:复合智能非第一,把真实任务往前推进是第一。praise 单列说明该榜含人评成分,非客观基准。选型看负载难在推理还是长程。闭源只走 API。置信度 A(已确认);未在自有 harness 上跑长任务对照。

13.71Arena Agent 净改进已确认 · 2026-09

产品Anthropic官网

推理开发梯顶A

GPT-6 Astra:终端工程任务第一,复合智能第三梯队

OpenAI 旗舰档,官方定位 hardest end-to-end work(gpt-6-astra):上下文 1.05M、单次输出 128K、知识截止 2026-04-30,内置 Functions、Web search、File search 与 Computer use,不必外拼 agent 框架。reasoning effort 五档而单价固定 $10/$50,成本杠杆在 token 侧;同门 Sol $2/$10、Luna $0.1/$0.5,100 倍价差可留在一家厂商内分流。第三方水位(2026-09-22):Terminal-Bench 4.0 第 1、58.18%(n_trials=330、pass@5 0.7121);Arena Agent 第 2,净改进 11.54、confirmed_success 17.70 低于榜首 Fable 5.1,praise 32.79 全场最高;智能指数第 6、7(max 52.67)。边界:知识截止比更新日期早近五个月,版本号与 API 变更须走 Web search;Computer use 可靠性不在任何榜上;闭源只走 API。置信度 A(已确认);未做能力复现。

58.18%Terminal-Bench 准确率已确认 · 2026-09

产品OpenAI官网

LLM开发C

Laya:421M 非自回归 System 1 决策模型,33 毫秒一次前向传播

Convai Innovations 开源的非自回归 System 1 决策模型:421M 参数、ModernBERT 主干加 [MASK] 选项抽取,一次前向 33 毫秒给出带校准概率的决策,Apache-2.0;RLCD 严格适当评分规则训练校准概率;模型卡附对 Jev 的真实基准对比与诚实限制清单。定位边缘与高并发小决策(游戏 NPC、对话策略、请求路由),不是长推理或开放生成。

33 ms单次前向延迟(421M,官方)厂商宣称 · 2026-09

研究Convai Innovations官网 Repo

LLM

llama.cpp：17 个后端、1.5 到 8 比特量化，把 LLM 推理带到任何有编译器的地方

MIT 许可、构建在 ggml 上的纯 C/C++ 推理实现，无任何依赖。17 个后端覆盖 CUDA/Metal/HIP/Vulkan/SYCL/WebGPU/CANN/Hexagon/MUSA/zDNN/ZenDNN；1.5-8 比特整数量化；CPU+GPU 混合推理让超出显存的模型也能跑；GGUF 是它输出的事实标准权重格式，连 vLLM 都直接吃。llama cli / llama serve 两行起一个 OpenAI 兼容服务。

130kGitHub Star 数

官网 Repo

LLM

vLLM：从 PagedAttention 长出来的开源服务栈，200+ 模型架构与五维并行

UC Berkeley Sky Lab 出身、2000+ 贡献者的推理与服务库：分页 KV 显存、连续批处理与分块 prefill、CUDA/HIP 图与 torch.compile、FP8/MXFP4/NVFP4/GGUF 等全量量化、FlashInfer/TRTLLM-GEN/FlashMLA 可插拔注意力核、n-gram/suffix/EAGLE/DFlash 四条投机解码路线、张量/流水线/数据/专家/上下文五维并行与 P/D 分离，同时讲 OpenAI 与 Anthropic 两套协议。

93kGitHub Star 数

官网 Repo

LLM

unsloth：2 倍速、省 70% 显存的微调库，如今是把本地权重接进 Claude Code 与 Codex 的桌面运行时

自称第一个能同时运行与训练模型的桌面应用（Windows/macOS/Linux，多 GPU 与 NVIDIA/AMD/Intel/CPU/Vulkan）。微调宣称快 2 倍、省 70% 显存，后训练菜单覆盖 LoRA/QLoRA/全参/预训练/GRPO/DPO/FP8，导出 GGUF、NVFP4、FP8。Unsloth Start 一条命令把 Claude Code 或 Codex 接到本地权重上；模型清单含 Qwen3.8、GLM-5.3-Flash、Kimi K3、DeepSeek-V4、MiniMax-H3、Gemma 4，另内置私有网页搜索、deep research、自动压缩与 RAG。

77kGitHub Star 数

官网 Repo

LLM

Heretic：不重新训练也能重写语言模型行为

以 ARA 或消融修改模型行为，借助 Optuna、可插拔评分器与可复现清单搜索低训练代价的改模方案；同时说明拒答边界与能力评估的局限。

39kGitHub Star 数

官网 Repo

LLM

SGLang：把前缀复用做成基数树的服务框架，也是前沿模型的 RL rollout 后端

LMSYS 托管的高性能服务框架：RadixAttention 前缀缓存、零开销 CPU 调度器、P/D 分离、DFlash 与 Spec V2 投机解码、压缩有限状态机做结构化输出、大规模专家并行（96 张 H100、GB200 NVL72 二期 3.8 倍 prefill / 4.8 倍 decode）。day-0 记录覆盖 Kimi K3、DeepSeek-V4、GLM5.2 NVFP4、Nemotron 3、MiniMax M2，并被 AReaL/Miles/slime/Tunix/verl 用作 RL rollout 后端。

37kGitHub Star 数

官网 Repo

LLM

Laya：单次前向的类型化决策引擎

面向本地部署的多语言非自回归决策引擎，用单次前向回答选择、评分与二元判断，并以路由、批处理和校准接口服务 Agent 工作流。

34kGitHub Star 数

官网 Repo

LLM

Frontend Slides:用编码 agent 做出好看的 HTML 演示稿

给编码 agent 用的 skill:三份风格预览让你挑,再生成零依赖的单文件 HTML 演示稿;也能把已有 .pptx 连同图片与备注一起转成网页幻灯片。

30kGitHub Star 数

Repo

LLM

TensorRT-LLM：NVIDIA 的专用核与机架级并行引擎，把 agentic 服务做成一等议题

NVIDIA 的 LLM 与视觉生成推理优化库，2025-03-22 起完全开源。28 篇技术博客构成一份可查的工程账本：Skip Softmax 与稀疏注意力压长上下文、专家并行三部曲与 NVLink 单边 AlltoAll、NVL72 的 DWDP、引导解码与投机解码协作、推理时计算，以及用 trace 回放与作业级指标评估 agentic 服务。宣称 Llama 4 Maverick 单用户破 1000 TPS、B200 上超 40000 tok/s，Bing 与 NAVER Place 在生产使用。

15kGitHub Star 数

官网 Repo

论文与深读

2026-11-10分布式 LLM 服务：前缀缓存与 Prefill-Decode 分离从 Preble 的前缀感知调度与公平队列，到 DistServe 的 goodput 优化和 KV 传输，说明免重算与阶段分离如何共同决定 TTFT、尾延迟和集群效率。

2026-11-09ERNIE Evolve：让自动研究走进真实 AI 研发从双层研究循环与独立评测出发，拆解 ERNIE Evolve 在公开基准和 ERNIE-5.5-Flash 推理优化中的真实收益、失败方向与安全边界。

2026-11-06AutoResearch 与微调本体：把机构工作流变成自己的模型工厂完整解析 Palantir 的 AutoResearch 与 Fine-Tuning Ontology，梳理数据集、SFT/DPO/GRPO、模型工厂及企业训练、评测和专用模型的 11 步流程。

2026-11-05MoE 训练终极手册从显卡集群、数据与 tokenizer 到 router、负载均衡、专家并行、训练诊断和推理部署，逐项讲清 MoE 的关键配置与实验依据。

2026-11-04ServerBench：编码智能体如何设计专用大模型推理系统？ServerBench 用有状态的编码会话回放、按延迟合格计算的美元/美元目标与独立验证，评估编码智能体自建专用 LLM 推理系统。

2026-11-03Route Anything：通用人工智能系统的模型与策略路由研究论文构建覆盖文本、图像、视频、语音、代码智能体与机器人操作的 25 个基准全模态轨迹矩阵，提出按输入价值和成本选择模型或策略的统一路由框架，并用参考策略、质量容差与价格路径认证更便宜路线是否足够好。在线性预言机高出最佳固定候选 5.38 分，学习路由器整体提升 0.30 分；价格路由平均效率提升 8.82 倍，认证后的零损失代码路线在 200 次划分中全部守住质量门槛。

2026-10-27AI 科学家知道什么是新的吗？基于贡献声明与证据档的 ClaimNov 新颖性判定AI 科学发现流水线需要判断生成的想法是否真正新颖：既要拒绝重复工作，又不能误杀仍有价值的新方向，并应说明提案的哪些部分已有先行工作。论文构建了一个带时间证据的提案级与贡献声明级评估框架，并用已发表论文、审稿争议和后续被人类研究者实现的想法组成四个数据集，共 1,060 个提案。审计现有检查后发现，高重复捕获率往往伴随对后续真实想法的显著误报，而整篇判定只能通过拒绝整个提案来指出局部先行工作。为此，作者提出 ClaimNov：抽取问题、方法、资源和结果四类贡献声明，在同维度文献中检索并分级判断覆盖程度，再依据完整证据档作最终判定。ClaimNov 在 1.5% 误报率下捕获 97% 的伪装论文；其声明级证据档把大模型判定器的误报率从 11.8% 降到 1.5%，并在包含一项拼接旧贡献的 100 个新提案中保留 91 个，而最强已有检查为 76 个。代码与数据已公开。

2026-10-20用 REA + Claude Code 逆向任何 Android APK：从装引擎到洁净室复刻REA 让编码智能体拥有真正的反编译器，但 Android 引擎要单独装。完整流程：JDK 17、锁定版 JADX jar 与摘要校验、先测绘后读方法的提示词、证据三标签与洁净室复刻规则。

2026-10-20MemCurrent：为生产级 Agent 设计持久记忆Databricks 的 MemCurrent 用情景记忆+蒸馏记忆双存储、插件/工具/离线 dreaming 三接入：内部基准通过率 22.3%→68.4%，token 省 31%、快 26%；开源基准媲美全上下文而输入 token 少约 12 倍。

2026-10-19TokenGate：可学习词元剪枝让大模型高效预填充TokenGate在中间层学习评分并保留top-K词元，以门控注意力端到端训练；预填充TTFT降低1.4–11.3倍、峰值显存降低1.5–3.4倍，报告精度不降。

2026-10-18用 Claude Opus 5.5 在 Unity 里做一款自己的游戏：完整实操课程从空文件夹到能玩、能测、能打包的小游戏：把 Opus 5.5 接进 Unity 编辑器，六道关口逐步搭建灰盒关卡、游戏规则、敌人无人机、随机种子关卡与模型灯光音效，并用 Play mode 验证循环和 PlayMode 测试证明它真的在跑。

2026-10-16SimpleVLN：不改架构释放原生多模态大模型的视觉语言导航能力视觉语言导航（VLN）要求具身智能体把自然语言指令落到第一视角观测上并完成长程决策。现有方法大多靠任务专用结构补能力——全景拼接、3D 几何编码器、双系统分层决策——因此很难判断成绩里有多少来自 MLLM 本身。SimpleVLN 把问题反过来问：在引入任何任务专用模块之前，原生 MLLM 的导航潜力是否已经被榨干？它的回答分三层。表述层：每次决策都重新构造一轮独立输入，即指令 + 当前观测 + 固定预算的全局-局部历史（默认全局 8 帧均匀采样、局部 1 帧），不再累积成越来越长的多轮对话；输出侧用动作块，一次推理给出多个基元动作（前进 0.25 m、左右转 15 度、停止）依次执行。数据层：R2R、RxR、ScaleVLN 的专家演示转成决策级监督样本，基于偏离度的 DAgger 在策略自己走到的状态上收集纠偏轨迹，RL 任务则在训练场景里自动合成新的起点-终点与指令。优化层：IL 到 DAgger 再到 RL 三段递进，RL 只用二值成功奖励（停在目标 3 m 内记 1 分），主结果用 DAPO 训 40 步。只用单目 RGB、不改一行网络结构，Qwen3.5-9B 版在 R2R-CE 与 RxR-CE 的 val-unseen 上分别拿到 76.7% 与 80.1% 成功率，超过依赖全景、深度或里程计的现有方法；单次动作块决策耗时 293 ms。消融显示单轮输入把成功率从 35.7% 抬到 53.6%，DAgger 再贡献 7.5 与 8.1 个点。评测代码与八个权重已开源，并在 Daystar 四足机器人（Jetson Thor 机载）上完成真实环境验证。

2026-10-16腾讯混元开源 Hy Memory 2.0：用一个 3B 激活的专用模型，替通用大模型做“记忆写入”腾讯混元开源 Hy Memory 2.0：3B 激活的专用写入模型 Hy-Memory-30B-A3B、hy-memory SDK 与本地优先 MemHub，四 harness 宏平均 55.49 超 Opus 5。

2026-10-15Anthropic 的代码审查：把阅读交给机器，把人留给判断Claude 写了 Claude Code 约九成代码，Anthropic 靠七层自动化审查加风险分级审批，让合并 PR 翻倍的同时回滚率降四成。最有启发的发现是收敛问题：智能体作者与智能体审查者曾把一个 PR 耗了五十多轮，而 git blame 显示 59% 反复被标记的代码从第一轮起就没变过。

2026-10-14在 AI Runtime 上把 Qwen 微调时间压缩 6 倍：融合 kernel 与序列打包GPU 利用率 98% 仍可能是假象：换融合 kernel 提速 3.7 倍，1D 打包去 padding 省 36% batch，7h44m 降到 1h17m。

2026-10-07EmbeddingGemma 2 解读：7.4 亿参数，把图片、录音和视频变成 Agent 本地可检索的向量Google 开源 EmbeddingGemma 2：740M 参数把文本、代码、图片、音频、视频映射进统一 768 维空间，纯文本仅 270M。本文拆解模块化加载、MRL 截维与本地 RAG 落地。

2026-10-05用 Claude Opus 5.5 在虚幻引擎中做游戏：从空工程到可玩关卡从空工程到可玩切片：把 Claude Opus 5.5 接入虚幻引擎实时编辑器，逐段搭建、验证并控制成本与风险。

2026-10-04如何用 10 步搭好你的第一台本地 LLM（完整教程）一份把本地 LLM 从零跑起来的 10 步路线图：内存与模型选择、Ollama 安装、量化、硬件选购、API 服务化、小模型路由，以及六个可直接照搬的实战负载。

2026-09-30ID Balancing：基于 PID 负载控制的极稀疏 MoE 稳定训练通过混合专家（MoE）扩展大语言模型，可以在几乎不增加单 token 计算量的前提下大幅增加参数量；但要把参数规模继续往上推，就需要越来越稀疏的路由，而路由越稀疏，专家负载不均就越严重。负载不均会降低参数利用率与训练效率，甚至破坏训练稳定性，成为可靠扩展的瓶颈。本文把两种代表性的免辅助损失方法统一看作不完整的 PID 控制器：DeepSeek 的 loss-free 方法相当于固定步长的积分控制，Kimi K3 的 Quantile Balancing 相当于广义的比例控制。基于这一控制视角，作者提出 ID Balancing——一个积分-微分控制器：积分项随负载误差的大小缩放，微分项仅在失衡恶化时开启，因而在误差大或正在变大时给出更强校正，在接近平衡时只做小幅更新。在 768 个专家的 Top-10 / Top-5 / Top-3 三种路由设置下，相对最优基线，ID Balancing 在 Top-3 下把主干网络最坏 MaxVio 降低超过 50%、训练平均 MinVio 降低超过 12%；当总参数从 18.9B 扩到 69.9B（Top-10-of-768）时，其最坏 MaxVio 几乎不变，比辅助损失基线低约 89.6%。同时它保持了有竞争力的语言建模与下游性能。稀疏度越高，ID Balancing 的优势越明显，为扩展更大、更稀疏的 MoE 模型提供了可行路径。

2026-09-24Just Ask Jev：用校准决策模型零样本检测 AI 对齐失败论文把通过校准决策强化学习训练的 Jev 用作零样本对齐失败检测器：一次调用回答多类问题并返回概率，通用问题在 31 个基准上的中位 AUROC 为 0.886；最大误差来自状态缺少参考事实与标签缺陷，而非问题措辞。

开源项目

JiazhiShu/mobius-code

Möbius：统一人体动作理解与生成的连续动作语言模型

Möbius 把文本理解、连续人体动作表示和整流流去噪放进同一多模态骨干，覆盖动作生成、描述、补全与语言编辑。论文、演示和 pipeline 已公开，但当前仓库仍禁止把代码状态理解为可运行实现。

Motion-Language ModelHuman Motion Generation

6042

undrgrnd-labs/hunchApache-2.0