Skip to content
Agientry
← 标签

#Expert Parallelism (3)

瀑布流分页
vllm-project/vllmApache-2.0

vLLM：从 PagedAttention 长出来的开源服务栈，200+ 模型架构与五维并行

UC Berkeley Sky Lab 出身、2000+ 贡献者的推理与服务库：分页 KV 显存、连续批处理与分块 prefill、CUDA/HIP 图与 torch.compile、FP8/MXFP4/NVFP4/GGUF 等全量量化、FlashInfer/TRTLLM-GEN/FlashMLA 可插拔注意力核、n-gram/suffix/EAGLE/DFlash 四条投机解码路线、张量/流水线/数据/专家/上下文五维并行与 P/D 分离，同时讲 OpenAI 与 Anthropic 两套协议。

推理引擎ServingPagedAttention
Python93k23k597
sgl-project/sglangApache-2.0

SGLang：把前缀复用做成基数树的服务框架，也是前沿模型的 RL rollout 后端

LMSYS 托管的高性能服务框架：RadixAttention 前缀缓存、零开销 CPU 调度器、P/D 分离、DFlash 与 Spec V2 投机解码、压缩有限状态机做结构化输出、大规模专家并行（96 张 H100、GB200 NVL72 二期 3.8 倍 prefill / 4.8 倍 decode）。day-0 记录覆盖 Kimi K3、DeepSeek-V4、GLM5.2 NVFP4、Nemotron 3、MiniMax M2，并被 AReaL/Miles/slime/Tunix/verl 用作 RL rollout 后端。

推理引擎RadixAttentionPrefix Caching
Python37k9.2k184
NVIDIA/TensorRT-LLMNOASSERTION

TensorRT-LLM：NVIDIA 的专用核与机架级并行引擎，把 agentic 服务做成一等议题

NVIDIA 的 LLM 与视觉生成推理优化库，2025-03-22 起完全开源。28 篇技术博客构成一份可查的工程账本：Skip Softmax 与稀疏注意力压长上下文、专家并行三部曲与 NVLink 单边 AlltoAll、NVL72 的 DWDP、引导解码与投机解码协作、推理时计算，以及用 trace 回放与作业级指标评估 agentic 服务。宣称 Llama 4 Maverick 单用户破 1000 TPS、B200 上超 40000 tok/s，Bing 与 NAVER Place 在生产使用。

推理引擎CUDAKernels
Python15k2.8k123