#Diffusion Serving (2)

LMSYS 托管的高性能服务框架：RadixAttention 前缀缓存、零开销 CPU 调度器、P/D 分离、DFlash 与 Spec V2 投机解码、压缩有限状态机做结构化输出、大规模专家并行（96 张 H100、GB200 NVL72 二期 3.8 倍 prefill / 4.8 倍 decode）。day-0 记录覆盖 Kimi K3、DeepSeek-V4、GLM5.2 NVFP4、Nemotron 3、MiniMax M2，并被 AReaL/Miles/slime/Tunix/verl 用作 RL rollout 后端。

推理引擎RadixAttentionPrefix Caching

Python37k9.2k184

NVIDIA/TensorRT-LLMNOASSERTION

TensorRT-LLM：NVIDIA 的专用核与机架级并行引擎，把 agentic 服务做成一等议题

NVIDIA 的 LLM 与视觉生成推理优化库，2025-03-22 起完全开源。28 篇技术博客构成一份可查的工程账本：Skip Softmax 与稀疏注意力压长上下文、专家并行三部曲与 NVLink 单边 AlltoAll、NVL72 的 DWDP、引导解码与投机解码协作、推理时计算，以及用 trace 回放与作业级指标评估 agentic 服务。宣称 Llama 4 Maverick 单用户破 1000 TPS、B200 上超 40000 tok/s，Bing 与 NAVER Place 在生产使用。

推理引擎CUDAKernels

Python15k2.8k123

#Diffusion Serving (2)

SGLang：把前缀复用做成基数树的服务框架，也是前沿模型的 RL rollout 后端

TensorRT-LLM：NVIDIA 的专用核与机架级并行引擎，把 agentic 服务做成一等议题