DeepInfer 常见问题:关于 DeepSeek V4.1-Flash
关于 DeepInfer——DeepSeek 的 V4.1-Flash 推理框架——的简短回答,每条都有来源:它是什么、能跑在什么上、缺了什么、有多快,以及你说的到底是哪个 DeepInfer。
一句话回答:DeepInfer 是 DeepSeek 开源的推理框架,用于大规模服务 DeepSeek-V4.1-Flash。它是离线引擎,不是托管 API,也不包含完整服务所需的 KV cache、prefill/decode 分离和负载均衡。本页覆盖 V4.1-Flash 发布、硬件、基准测试和名称冲突。
DeepInfer 支持 NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU,但 DeepSeek 公布的性能图表只覆盖 NVIDIA 硬件。
基础
DeepInfer 是什么?
DeepInfer 是 DeepSeek 开源的推理框架,用于大规模服务 DeepSeek-V4.1-Flash。它于 2026 年 10 月 20 日以 Apache-2.0 许可证发布。
DeepInfer 是一个模型吗?
不是。DeepInfer 是运行模型的引擎。模型是 DeepSeek-V4.1-Flash-1017,权重以 MIT 许可证发布。
DeepInfer 可以免费商用吗?
DeepInfer 代码采用 Apache-2.0,允许商用和修改,但需履行常规的声明义务。默认模型权重采用 MIT。部署前请确认随包附带的依赖各自的许可证。
运行
DeepInfer 支持哪些模型?
本次发布只支持 DeepSeek-V4.1-Flash。默认 checkpoint 是 DeepSeek-V4.1-Flash-1017。
能在 RTX 4090 或 H100 上运行 DeepInfer 吗?
README 列出的是 NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU。更早的 NVIDIA 世代和消费级显卡都不在支持列表中。
DeepInfer 自带 OpenAI 兼容的 API 服务器吗?
不带。本次发布提供的是离线推理,不是托管 API。服务层需要你自己搭建。DeepSeek 还发布了 deepseek-recipe,负责 API 协议转换和分词处理,但它不是服务器。
DeepInfer 是一套完整的生产服务栈吗?
不是。README 明确列出三块缺失:KV cache 系统、VE/Prefill/Decode 分离,以及跨数据并行副本的负载均衡。
缺口
为什么没有 KV cache 系统?
DeepSeek 表示,KV cache 管理和负载均衡组件与内部基础设施耦合很紧,因此这部分代码尚未完全开源。
DeepInfer 支持 Huawei Ascend 950 吗?
支持,README 在 NVIDIA SM100 GPU 之外也列出了 Ascend 950 NPU。但 DeepSeek 没有公布 DeepInfer 在 Ascend 950 上的性能数字。
DeepSeek 真的开源了它的生产引擎吗?
DeepSeek 称 DeepInfer 支撑着自家生产服务,但公开的只是子集。KV cache 系统、PD 分离和负载均衡都不在其中,因此无法从外部验证生产环境的一致性。
数字
DeepInfer 有多快?
DeepSeek 公布了两张 Pareto 图:在 131,072 token 上下文下,prefill 用 4 块 SM100 GPU,decode 用 64 块 SM100。目前没有第三方复现。请把这两张图当作取舍地图,而不是对你负载的承诺。
DSpark 是什么?
DSpark 是 DeepSeek 的投机解码路径。它用 draft token 和置信度头来调度变长验证。默认最大 draft 长度是 5。
SWA 有界重放是什么?
它通过只重放最近的 token 来重建缺失的滑动窗口注意力 KV,而不是在每一层重建完整窗口。V4.1 的默认配置保留 140 token 的后缀。
deepseek-recipe 是什么?
一个独立的 MIT 许可 Rust/Python 库,把 Chat Completions、Responses 和 Messages 请求转换成 DeepSeek 的 prompt 和 token ID,再把模型输出解析回协议响应。
名称
DeepInfer 这个名字还指一个 2016 年的医学影像工具包,以及一个 2023 年的智能合约类型推断研究项目;本站只讨论 DeepSeek 在 2026 年发布的推理框架。
DeepInfer 和 DeepInfra 是同一个吗?
不是。DeepInfra 是 deepinfra.com 上的商业推理服务商,DeepInfer 是 DeepSeek 的开源框架。DeepInfer 与商业推理服务商 DeepInfra 没有关联。
DeepInfer 和医学版或智能合约版 DeepInfer 是同一个吗?
不是。2016 年的医学影像工具包和 2023 年的智能合约研究项目,都与 DeepSeek 2026 年的推理框架无关。
从哪里读起
如果你要发布事实,读《DeepInfer 实际交付了什么》。如果你关心工程实现,读《深入引擎》。如果你在决定要不要用,先读限制,再看十篇对比,从 DeepInfer vs vLLM、vs SGLang 和 vs TensorRT-LLM 开始。如果你被名字搞混了,读名称辨析页。
DeepInfer 比 vLLM 更好吗?
目前没有公开的正面对比。vLLM 的服务层更完整,有 OpenAI 兼容 API,模型覆盖也更广;DeepInfer 是 DeepSeek 的单模型引擎,带 DeepSeek 专用的调优。详见 DeepInfer vs vLLM 对比。
我应该用 DeepInfer 还是 SGLang?
SGLang 的 V4.1-Flash 预览路径更完整,带 API、PD 分离、HiCache 和 router。DeepInfer 有 DeepSeek 自己的引擎,并支持 Ascend 950。详见 DeepInfer vs SGLang 对比。
我们没有运行过 DeepInfer。我们也没有 SM100 或 Ascend 950 硬件。上面的回答都基于公开来源;凡是 DeepSeek 自己的说法、又无法独立验证的,我们会在讨论它的页面上注明。