Skip to content
Agientry
← 标签

#Inference Framework (1)

瀑布流分页
deepseek-ai/DeepInferApache-2.0

DeepInfer：支撑 DeepSeek 生产服务的推理框架

DeepSeek 把自己生产环境的推理引擎开源了出来。DeepInfer 是 DeepSeek-V4.1-Flash 的服务框架，本次放出离线推理核心：C++ 零开销异步调度器、注意力 DP/均衡 CP 加 MoE EP 与 EPLB、DSpark 投机解码配置信度调度验证、SWA 有界回放预填充、批不变与确定性采样、正则/JSON/EBNF 结构化输出；NVIDIA SM100 与昇腾 950 双后端，Apache-2.0。

LLM InferenceInference Framework
Python1.8k1291

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。