← 标签

#Distributed Serving (2)

瀑布流分页

分布式 LLM 服务：前缀缓存与 Prefill-Decode 分离

从 Preble 的前缀感知调度与公平队列，到 DistServe 的 goodput 优化和 KV 传输，说明免重算与阶段分离如何共同决定 TTFT、尾延迟和集群效率。

博客

LLM InferenceDistributed Serving

拆解 vLLM：高吞吐大模型推理系统的解剖学——从引擎循环、Paged Attention 到多节点分布式服务

vLLM 核心贡献者的系统拆解：从离线单进程引擎讲起，逐层覆盖调度器、Paged Attention 的 KV cache 分块、continuous batching、prefix caching、投机解码、P/D 分离，再到多卡执行器、两节点四副本分布式服务栈，以及 TTFT/ITL/goodput 与 roofline 模型下延迟与吞吐的取舍。

博客

vLLMLLM Inference

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。