#LLM Inference (4)

亲手构建自己的 Jev（100% 本地）：用 SGLang 复现固定答案打分决策引擎

用 SGLang /v1/score 在本地复现 Jev 式固定答案打分：单 token 标签、受限 softmax、置信度分流路由，并与结构化输出、自回归生成实测对照：单决策 6 ms 对 1088 ms。

博客

JevSystem One ModelsSGLangLogit ScoringStructured Output

拆解 vLLM：高吞吐大模型推理系统的解剖学——从引擎循环、Paged Attention 到多节点分布式服务

vLLM 核心贡献者的系统拆解：从离线单进程引擎讲起，逐层覆盖调度器、Paged Attention 的 KV cache 分块、continuous batching、prefix caching、投机解码、P/D 分离，再到多卡执行器、两节点四副本分布式服务栈，以及 TTFT/ITL/goodput 与 roofline 模型下延迟与吞吐的取舍。

博客

vLLMLLM InferencePaged AttentionKV CacheSpeculative Decoding

DSpark：置信度调度的半自回归投机解码

DeepSeek 与北大提出的投机解码框架，同时清理草稿侧与验证侧的两笔浪费。草稿侧用「重的并行主干 + 极轻的串行头」补回块内 token 依赖，缓解并行草稿的后缀衰减；验证侧让草稿模型顺带预测每个位置的条件存活概率，经 STS 后验校准后，由读硬件吞吐曲线 SPS(B) 的调度器把验证长度当作全局吞吐最大化变量逐请求求解。离线接受长度比 Eagle3 高 30.9%/26.7%/30.0%、比 DFlash 高 16.3%/18.4%/18.3%，串行头只增加 0.2%-1.3% 整轮延迟。已在 DeepSeek-V4-Flash 与 V4-Pro 预览版生产系统上线并替换 MTP-1：同等吞吐下每用户生成速度快 60%-85%，严格交互性 SLA 下仍维持非退化的服务能力。代码与全部草稿权重已在 DeepSpec 开源（MIT）。

Xin Cheng, Xingkai Yu, Chenze Shao2026年7月6日

Speculative DecodingLLM InferenceLLM Serving2026年7月6日

Neroued/ninferApache-2.0

NInfer：单张 5090 上从零写的 C++/CUDA 推理引擎

从零实现的 C++/CUDA 推理引擎，只服务五个注册 Qwen 权重、只跑一张 RTX 5090：MTP/DFlash 投机解码、五种 KV 存储、24 万 token 上下文与 Device/Host 前缀检查点复用，C=8 聚合解码 1,146.9 tok/s。

LLM InferenceCUDASpeculative Decoding

C++1.4k26113