DeepInfer Field Notes 独立 / 粉丝制作
常见问题 / 2026.10

DeepInfer 常见问题:关于 DeepSeek V4.1-Flash

关于 DeepInfer——DeepSeek 的 V4.1-Flash 推理框架——的简短回答,每条都有来源:它是什么、能跑在什么上、缺了什么、有多快,以及你说的到底是哪个 DeepInfer。

18 个问题/阅读 8 分钟/快照 2026-10-20

一句话回答:DeepInfer 是 DeepSeek 开源的推理框架,用于大规模服务 DeepSeek-V4.1-Flash。它是离线引擎,不是托管 API,也不包含完整服务所需的 KV cache、prefill/decode 分离和负载均衡。本页覆盖 V4.1-Flash 发布、硬件、基准测试和名称冲突。

DeepInfer 支持 NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU,但 DeepSeek 公布的性能图表只覆盖 NVIDIA 硬件。

基础

DeepInfer 是什么?

DeepInfer 是 DeepSeek 开源的推理框架,用于大规模服务 DeepSeek-V4.1-Flash。它于 2026 年 10 月 20 日以 Apache-2.0 许可证发布。

DeepInfer 是一个模型吗?

不是。DeepInfer 是运行模型的引擎。模型是 DeepSeek-V4.1-Flash-1017,权重以 MIT 许可证发布。

DeepInfer 可以免费商用吗?

DeepInfer 代码采用 Apache-2.0,允许商用和修改,但需履行常规的声明义务。默认模型权重采用 MIT。部署前请确认随包附带的依赖各自的许可证。

运行

DeepInfer 支持哪些模型?

本次发布只支持 DeepSeek-V4.1-Flash。默认 checkpoint 是 DeepSeek-V4.1-Flash-1017。

能在 RTX 4090 或 H100 上运行 DeepInfer 吗?

README 列出的是 NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU。更早的 NVIDIA 世代和消费级显卡都不在支持列表中。

DeepInfer 自带 OpenAI 兼容的 API 服务器吗?

不带。本次发布提供的是离线推理,不是托管 API。服务层需要你自己搭建。DeepSeek 还发布了 deepseek-recipe,负责 API 协议转换和分词处理,但它不是服务器。

DeepInfer 是一套完整的生产服务栈吗?

不是。README 明确列出三块缺失:KV cache 系统、VE/Prefill/Decode 分离,以及跨数据并行副本的负载均衡。

缺口

为什么没有 KV cache 系统?

DeepSeek 表示,KV cache 管理和负载均衡组件与内部基础设施耦合很紧,因此这部分代码尚未完全开源。

DeepInfer 支持 Huawei Ascend 950 吗?

支持,README 在 NVIDIA SM100 GPU 之外也列出了 Ascend 950 NPU。但 DeepSeek 没有公布 DeepInfer 在 Ascend 950 上的性能数字。

DeepSeek 真的开源了它的生产引擎吗?

DeepSeek 称 DeepInfer 支撑着自家生产服务,但公开的只是子集。KV cache 系统、PD 分离和负载均衡都不在其中,因此无法从外部验证生产环境的一致性。

数字

DeepInfer 有多快?

DeepSeek 公布了两张 Pareto 图:在 131,072 token 上下文下,prefill 用 4 块 SM100 GPU,decode 用 64 块 SM100。目前没有第三方复现。请把这两张图当作取舍地图,而不是对你负载的承诺。

DSpark 是什么?

DSpark 是 DeepSeek 的投机解码路径。它用 draft token 和置信度头来调度变长验证。默认最大 draft 长度是 5。

SWA 有界重放是什么?

它通过只重放最近的 token 来重建缺失的滑动窗口注意力 KV,而不是在每一层重建完整窗口。V4.1 的默认配置保留 140 token 的后缀。

deepseek-recipe 是什么?

一个独立的 MIT 许可 Rust/Python 库,把 Chat Completions、Responses 和 Messages 请求转换成 DeepSeek 的 prompt 和 token ID,再把模型输出解析回协议响应。

名称

DeepInfer 这个名字还指一个 2016 年的医学影像工具包,以及一个 2023 年的智能合约类型推断研究项目;本站只讨论 DeepSeek 在 2026 年发布的推理框架。

DeepInfer 和 DeepInfra 是同一个吗?

不是。DeepInfra 是 deepinfra.com 上的商业推理服务商,DeepInfer 是 DeepSeek 的开源框架。DeepInfer 与商业推理服务商 DeepInfra 没有关联。

DeepInfer 和医学版或智能合约版 DeepInfer 是同一个吗?

不是。2016 年的医学影像工具包和 2023 年的智能合约研究项目,都与 DeepSeek 2026 年的推理框架无关。

从哪里读起

如果你要发布事实,读《DeepInfer 实际交付了什么》。如果你关心工程实现,读《深入引擎》。如果你在决定要不要用,先读限制,再看十篇对比,从 DeepInfer vs vLLM、vs SGLang 和 vs TensorRT-LLM 开始。如果你被名字搞混了,读名称辨析页。

DeepInfer 比 vLLM 更好吗?

目前没有公开的正面对比。vLLM 的服务层更完整,有 OpenAI 兼容 API,模型覆盖也更广;DeepInfer 是 DeepSeek 的单模型引擎,带 DeepSeek 专用的调优。详见 DeepInfer vs vLLM 对比。

我应该用 DeepInfer 还是 SGLang?

SGLang 的 V4.1-Flash 预览路径更完整,带 API、PD 分离、HiCache 和 router。DeepInfer 有 DeepSeek 自己的引擎,并支持 Ascend 950。详见 DeepInfer vs SGLang 对比。

关于确定性

我们没有运行过 DeepInfer。我们也没有 SM100 或 Ascend 950 硬件。上面的回答都基于公开来源;凡是 DeepSeek 自己的说法、又无法独立验证的,我们会在讨论它的页面上注明。

↑