來源 / 2026.10
DeepInfer 來源:官方文件與 V4.1-Flash 參考資料
這份 DeepInfer(DeepSeek 的 V4.1-Flash 推理框架)檔案中的每項事實主張,都對應公開來源。本頁是公開清冊:我們讀了什麼、何時讀的,以及對每一層的信心。
這份 DeepInfer(DeepSeek 的 V4.1-Flash 推理框架)檔案中的每項事實主張,都對應公開來源。我們分成四層:A 官方一手來源、B 無法獨立驗證的官方說法、C 具名二手報導、D 每小時都在變的社群觀察。數字的分量,取決於它所在的層級。
A. 官方一手來源
- DeepInfer 儲存庫 — README、授權、功能清單、硬件、建置需求、效能圖表。存取於 2026-10-20。
- DeepInfer 部署 Q&A — 生產架構、Wide-EP、EPLB、KV cache、DSpark、排程、Recipe。更新於 2026-10-20 11:03 UTC。
- Examples README — 離線推理、benchmark、掃描參數、CP/EP 旗標。
- Eval README — AIME 2026、GPQA Diamond、HLE 參考分數與流程。
- deepseek-recipe — 協定轉換、tokenizer、串流解析器、MIT 授權。
- DeepSeek-V4.1-Flash-1017 model card — 預設 checkpoint、MIT 權重、上下文視窗、benchmark 表。
- DeepSeek-V4.1-Flash 技術報告 — 552B 主幹 + 196B Engram、8B/16B 啟動參數、每 token 890 bytes KV、45T 訓練 token。
- DeepSeek 知乎文章:V4.1 Flash 大規模推理部署 — 中文生產架構說明,3FS、EPLB、DSpark、排程。
- DeepGEMM-Ascend 與 DeepEP-Ascend — Ascend 基礎工程,2026-09-30;效能數字由廠商自行執行,並附 PoC 硬件的注意事項。
- The Path to Open-Sourcing the DeepSeek Inference Engine — 2025 年 4 月說明當時為何沒有釋出完整引擎。
- DeepSpec — MIT 授權的訓練與評估程式庫,用於推測解碼的草稿模型(DSpark、DFlash、Eagle3)。
B. 我們無法獨立驗證的官方說法
這些是 DeepSeek 自家的生產數字。我們引用時會寫「DeepSeek 表示」,不把它們當成 benchmark 結果。
- 單一叢集每天 155 兆 token;谷時電價下每 GPU 小時營收 US$38。 出自官方 Q&A 與知乎文章。叢集規模、GPU 組成與量測時間窗未披露。營收不是利潤。
- 負載平衡可達完美平衡的離線 benchmark 約 80%。 出自官方 Q&A。
- DSpark 可變長度驗證:生產運行點 +4–7%,每個 rank 96 條併發序列時最高 +11%。 出自 Q&A 表格。
- 開源 FlashMLA 在 decode kernel 上慢 5–10%,端到端最多慢 5%。 這是 DeepSeek 與其內部版本的比較。
- 3FS KV cache:約 100 PiB、agent TTL 3 天、chatbot TTL 7 天、每張 GPU 約 14.4 TB 邏輯 KV、每 8 張 GPU 約 400 Gbps。 生產設計,不在本次發佈中。
C. 二手報導
- CryptoBriefing,2026-10-20 09:35 UTC — 發佈報導。它另外報導了 96% 快取命中、約 400 ms TTFT、230 tokens/s(寫程式時 300)。這些數字不在官方 README/Q&A 文字中;我們視為二手且未經證實。
- Pasquale Pillitteri,2026-10-20 10:54 UTC — 詳細的獨立分析、圖表讀值、缺失元件清單。
- IT之家,2026-10-20 與 第一財經,2026-10-20 — 中文官方聲明報導。
- Blockchain.News、TechFlow、KuCoin — 簡短發佈快訊,多半是轉述 X 貼文串。
- vLLM 部落格,2026-10-07 — 另一條 V4.1-Flash 優化路徑;不是與 DeepInfer 的比較。
- SGLang 部落格 — 另一條 V4.1-Flash kernel 路徑;不是與 DeepInfer 的比較。
D. 社群觀察
- Hacker News 討論,2026-10-20 — 兩小時內約 120 則留言。最常出現的技術質疑是缺席的 KV cache。社群對單位經濟的估算屬推測;我們不把它們當事實轉述。
- DeepSeek 官方 X 貼文串 — 四則貼文,2026-10-20 09:30 UTC。
- LightSeek Foundation — 表示 TokenSpeed 會參考並採用這些優化。
- PR #47(SM90/H20 RFC) 與 PR #46(Ascend 910C RFC) — 公開提案,尚未合併為支援。
比較來源
- vLLM README — PagedAttention、連續批次、prefix 快取、OpenAI 兼容 API、模型與硬件涵蓋範圍。
- SGLang V4.1-Flash cookbook — preview 映像、DSpark、PD 分離、HiCache、router 與硬件。
- SGLang day-0 文章 — V4.1-Flash 的功能與硬件涵蓋範圍。
- TensorRT-LLM README — kernel、執行環境、prefill-decode 分離、Wide EP、Triton/Dynamo、授權。
- TensorRT-LLM 支援矩陣 — 投入前先確認模型與 GPU 支援。
- LMDeploy README — TurboMind/PyTorch 引擎、DeepSeek V3/R1 工作、PD 分離、Ascend、OpenAI API。
- TGI README — 維護模式公告、功能、硬件、授權。
- TGI Messages API — OpenAI Chat Completion 兼容性。
- Xinference README — 多模型平台、OpenAI API、分散式 worker、後端。
- NVIDIA Dynamo README — 編排層、分離式服務、KV 感知路由、KVBM、後端。
- llama.cpp README — GGUF、後端、量化、本機伺服器、授權。
- Ollama README 與 OpenAI 兼容性 — 本機執行器與 API 介面。
- MLC-LLM README — 編譯器/MLCEngine、平台、API、授權。
名稱消歧義來源
- 醫學 DeepInfer 的 GitHub 組織(2016 年建立)與 Slicer-DeepInfer。
- “DeepInfer: open-source deep learning deployment toolkit for image-guided therapy”,SPIE Medical Imaging 2017。
- “DeepInfer: Deep Type Inference from Smart Contract Bytecode”,ESEC/FSE 2023;程式碼。
- DeepInfra — 商業推理供應商;拼法不同,實體不同。
我們讀不到的部分
中文知乎文章裡有一張「線上系統實際統計」圖片。我們的環境無法載入該圖片主機(SSL 錯誤),文字鏡像也只回傳文章正文。因此歸屬於該儀表板的 96% 快取命中、約 400 ms TTFT 與 230 tok/s 數字仍屬二手。我們不會把它們放進標題、規格列或 benchmark 表格。
我們也沒有 SM100 或 Ascend 950 硬件,因此沒有執行程式碼、重現圖表或量測 Ascend 效能。本站每項效能陳述都是來源閱讀,不是實機結果。
如何引用本站
若你引用事實主張,請引用頁面上連結的一手來源,而不是這份檔案。若你引用我們的分析或名稱消歧義表,請連結到具體頁面並附上存取日期:
DeepInfer Field Notes, “Which DeepInfer? A name collision, resolved,” accessed 20 October 2026, https://deepinfer.net/name/.
更正
若來源變動或某項說法有誤,頁面與本清冊應一起更新。每頁上方的快照日期,就是我們查核範圍的邊界。