DeepInfer 交付了什麼：DeepSeek 的 V4.1-Flash 引擎
DeepInfer 這次發佈的範圍，比發佈當時的討論窄得多——也正因如此更有意思。以下說明範圍、建置、授權，以及引擎與服務之間的那條線。
DeepInfer 是 DeepSeek 的開源推理框架，用來大規模服務 DeepSeek-V4.1-Flash。它在 2026 年 10 月 20 日以 Apache-2.0 授權發佈，為 NVIDIA SM100 GPU 與華為 Ascend 950 NPU 提供離線推理引擎——但不含完整線上服務所需的 KV cache 系統、prefill/decode 分離，或資料平行負載平衡。本頁說明範圍、建置與授權。
這一段就是全部論點。以下都是證據。
一張表看完範圍
README 的「支援功能」與「完整推理服務所需（本次發佈未包含）」兩份清單異常清楚。我們把它們並排呈現，不粉飾這道缺口。
| 包含 | 不包含 |
|---|---|
| 為 DeepSeek-V4.1-Flash 提供離線推理 | KV cache 系統 |
| 優化 kernel 與模型／取樣器執行環境 | VE / Prefill / Decode 分離 |
| Attention DP / 平衡式 CP；MoE EP + EPLB | 資料平行副本之間的負載平衡 |
| DSpark 與依信心排程的驗證 | 面向使用者的線上 API |
| SWA 有界重放 | 對其他 DeepSeek 模型的支援 |
| 非同步排程 | 已公開的 Ascend 950 效能數據 |
| 批次不變推理（NVIDIA） | 第三方對 benchmark 的重現 |
| 確定性取樣（NVIDIA） | 與生產環境一致的保證 |
| 結構化輸出：regex、JSON Schema、EBNF | — |
左欄是儲存庫裡有的東西；右欄是服務團隊仍得自行建置或維運的部分。DeepSeek 自家的 Q&A 詳細描述了這些缺口——這對理解設計很有用，但不會把程式碼放進本次發佈。
儲存庫導覽
公開的目錄樹很精簡。我們列出讀者可能會打開的目錄；沒有逐一審查每個檔案。
| 路徑 | 我們看到的內容 | 為何要打開 |
|---|---|---|
deepinfer/ | Python 套件與引擎程式碼 | 主要執行環境與排程邏輯 |
csrc/ | C++/CUDA 原生擴充 | Kernel 與綁定相關工作 |
doc/ | 部署 Q&A、圖片 | 最詳細的官方說明 |
examples/ | 離線推理、benchmark、掃描 | 最快看出預期用法的方式 |
eval/ | AIME 2026、HLE、GPQA Diamond 腳本 | 重現參考分數 |
tests/ | pytest 測試集、PPL 基準 | 看作者心中的「正確」是什麼 |
scripts/ | 格式化與輔助腳本 | 貢獻者工具 |
vendor/ | 內附的第三方程式碼 | 授權與相依性稽核 |
deep_cluster/ | 目錄樹中隨附的叢集相關程式碼 | 我們沒有審查；此處不對公開 API 作任何宣稱 |
公開歷史始於 2026 年 10 月 20 日的三個 commit：04:09 UTC 的初始 commit、09:06 的 Q&A 文件更新、11:03 的英文 Q&A 更新。這是一次性的程式碼釋出，不是長期公開開發的歷史。不要把 commit 數量當成項目的工程投入。
建置需求
DeepInfer 支援 NVIDIA SM100 GPU 與華為 Ascend 950 NPU，但 DeepSeek 公布的效能圖表只涵蓋 NVIDIA 硬件。建置本身是資料中心軟件。README 列出：
- Linux
- GCC ≥ 13.0
- Python 3.12
- NVIDIA 用 CUDA 13；Ascend 用 CANN 9.2
- NVIDIA SM100 GPU 或華為 Ascend 950 NPU
文件記載的路徑是從原始碼建置：
# NVIDIA；Ascend 平台請改用「ascend」
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
# 預設 checkpoint 會在首次執行時從 Hugging Face 下載。
python examples/offline_inference.py如果你已在本機備妥 checkpoint，設定 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017。examples 的 README 也提供 --ep、--dp、--cp 參數來配置平行布局。這些都不改變硬件要求：README 列出的是 SM100 與 Ascend 950，並沒有列出 H100、H200、H20 或消費級顯示卡。
授權，不要混為一談
| 元件 | 授權 | 涵蓋範圍 |
|---|---|---|
| DeepInfer | Apache-2.0 | deepseek-ai/DeepInfer 中的引擎程式碼 |
| DeepSeek-V4.1-Flash-1017 | MIT | 預設模型權重 |
| deepseek-recipe | MIT | 獨立的協定／分詞函式庫 |
| 內附 kernel | 逐一確認 | FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 及其他相依項目 |
Apache-2.0 允許商業使用與修改，但附帶標示義務與專利授權。MIT 同樣寬鬆。這不會自動釐清每個內附相依項目的授權，或模型的可接受使用條款。若要商業部署，請自行稽核目錄樹與 model card，不要只依賴摘要。
今天就能做的事
- 在支援的硬件上跑離線推理，使用預設的 V4.1-Flash-1017 checkpoint。
- 重現 benchmark 掃描：使用
examples/sweep/run_sweep.sh，再用plot_pareto.py繪圖。 - 執行參考評測：透過
eval/的腳本執行 AIME 2026、GPQA Diamond 與 HLE。 - 研讀實作：Wide-EP、EPLB、DSpark 驗證、SWA 有界重放與非同步排程器。
- 使用 deepseek-recipe，讓第三方 API 行為對齊 DeepSeek 的協定處理。
- 在其上建服務層——但那一層是你的工作，不是本次發佈的。
目前還做不到的事
- 開一個和 DeepSeek 一樣的 API。 本次發佈是離線的；KV cache、PD 分離與負載平衡都不在其中。
- 服務其他模型。 清單上只有 V4.1-Flash。
- 在較舊的 NVIDIA 或 Ascend 硬件上執行。 列出的目標是 SM100 與 Ascend 950。
- 引用 Ascend 吞吐量。 DeepSeek 只公布了 NVIDIA 圖表。
- 宣稱與生產環境一致。 DeepSeek 說這套框架支撐其服務，但公開程式碼只是子集；外部無法驗證。
DeepInfer 是離線推理引擎，不是託管 API，也不是模型；本次發佈不包含完整線上服務所需的 KV cache 系統、prefill/decode 分離，或資料平行副本之間的負載平衡。
版本說明
截至撰寫時，沒有 GitHub Release 或 tag。儲存庫有三個公開 commit，Q&A 在發佈當天更新過。請把本頁視為快照：若你要做部署決策，請讀當前的 README 與 Q&A，並確認那些缺口是否已補上。
接著讀：引擎如何運作，或缺這些元件在實務上意味著什麼。