DeepInfer と SGLang：V4.1-Flash のサービングを比べる

DeepInfer と SGLang はどちらも DeepSeek-V4.1-Flash を狙うが、層が違う。DeepInfer は DeepSeek が Apache-2.0 で公開した1モデル専用の推論エンジンで、配布物はオフラインのみだ。SGLang は汎用の高性能サービングフレームワークで、V4.1-Flash のプレビュー手順、OpenAI 互換 API、PD 分離、HiCache、ルーターを備える。公開された直接比較はない。ここで比べるのは適用範囲と適合である。

結論から

今日いちばん完全な V4.1-Flash のサービング経路が欲しいなら、SGLang から始める。ただしプレビューという但し書きをよく読むこと。V4.1 対応はプレビューの Docker イメージを使い、2026-10-20 時点で正規の SGLang リリースには入っていない。DeepSeek 自身のエンジンが欲しく、SM100 か Ascend 950 のハードウェアがあり、サービング層を作る覚悟があるなら、DeepInfer を評価する。

「DeepInfer が速い」「SGLang が速い」というページではない。同じモデル、同じハードウェア、同じワークロードでの公開ベンチマークは存在しない。SGLang の見出しの数字と DeepInfer のグラフは、そもそも別の計測器だ。

それぞれの概要

DeepInfer

DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。

公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。価値は DeepSeek 固有のチューニングと、本番の推論スタックを覗ける点にあり、すぐ使える API ではない。

SGLang

SGLang は汎用の高性能サービングフレームワークだ。V4.1-Flash の cookbook には、プレビューイメージ、DSpark による投機的デコーディング、PD 分離、HiCache（階層型 KV キャッシュ）、SWA 有界リプレイ、Engram、OpenAI 互換 API、キャッシュを意識したルーターが記載されている。day-0 の記事では、検証済みのハードウェア経路として NVIDIA Blackwell/Hopper と AMD MI350X が挙げられている。

重要な但し書きがある。SGLang は V4.1-Flash 対応について「まだ SGLang のリリースには入っていない」としており、pip install sglang の正規版ではサービングできない。cookbook はプレビューの Docker イメージを使う。これは脚注ではなく、実際の運用リスクだ。

比較表：速度ではなく適用範囲

出典：DeepInfer の README と Q&A、SGLang の V4.1 cookbook と day-0 記事。2026-10-20 参照。

DeepInfer が優位な点

• DeepSeek 自身のチューニング。エンジンは V4.1 の CED アーキテクチャ、DSpark、SWA 有界リプレイ、Wide-EP のデコードを前提に作られている。公開されているもののうち、DeepSeek の本番計算経路に最も近い。
• Ascend 950 が公式リリースに含まれる。SGLang は AMD と NVIDIA の経路を持つ。DeepInfer は SM100 と並べて Huawei Ascend 950 を挙げている。Ascend が自分の基盤なら、これは効く。
• 決定論モード。バッチ不変推論と決定論的サンプリング（NVIDIA のみ）が使える。SGLang の V4.1 cookbook は、現状のバックエンドが決定論的推論を拒否し、バッチ構成に対してビット単位で安定しないとしている。
• 適用範囲の単純さ。1モデル、1エンジン、汎用フレームワークの互換層はない。研究目的の配備なら、このほうが筋を追いやすい。

SGLang が優位な点

• 完結したサービング層。OpenAI 互換 API、PD 分離、HiCache、プレフィックスキャッシュ、ルーターが V4.1 手順の文書化された構成要素になっている。DeepInfer はこれらを統合作業として残す。
• ハードウェアの選択肢が多い。V4.1 cookbook は NVIDIA B200/B300/GB300/H200 と AMD MI350X を扱う。DeepInfer の公式リストは SM100 と Ascend 950 だ。
• 運用の道具。cookbook には低レイテンシ向けと高スループット向けの起動コマンド一式があり、長いコンテキストを扱うエージェント向けの設定もある。ゼロから動くサービスまでの距離が短い。
• 成熟した汎用フレームワーク。公開初日のエンジンと比べて、コミュニティが広く、統合が多く、本番運用の歴史も長い。

ベンチマークの罠

SGLang の day-0 記事は、4× GB300 上でバッチサイズ 1 のとき 873.63 tokens/s（DSpark 使用、シミュレーション上の受入長 5.5）と報告している。これは特定の構成における単一ストリームのデコード結果だ。サービングのスループットではなく、DeepInfer との比較でもない。

DeepInfer のデコードのグラフは 64 基の SM100 GPU、131,072 トークンのコンテキスト、nextn=3、ドラフト受入率 75% の仮定を使う。軸は出力スループットとユーザーあたりの速度だ。SGLang の数値と DeepInfer のグラフは、モデル、ハードウェア、コンテキスト、受入率、同時実行数を揃えない限り、同じ順位表には並べられない。

有用なのは統制された比較だ。同じチェックポイント、同じ GPU 枚数、同じ入出力長の分布、同じキャッシュヒット率、同じ SLO。そのうえで p50/p95/p99 の TTFT と TPOT、レイテンシ制約下のスループット、送出した出力100万トークンあたりのコストを報告する。どちらのベンダーも、相手のエンジンについてそれを公開していない。こちらも同一のハードウェアでどちらも動かしていない。これは公開資料ベースの比較である。

プレビューという但し書き

「SGLang は V4.1-Flash に対応している」は正しいが、不十分だ。cookbook は対応が SGLang のリリースに入っていないと明言し、プレビューの Docker イメージを使っている。つまり：

• 固定された安定版ではなく、動き続けるイメージを追うことになる。
• フラグとバックエンドの挙動は、プレビュービルドの間で変わりうる。
• イメージのダイジェストを固定し、アップグレードは本番依存の更新として試験すべきだ。

DeepInfer の但し書きは逆だ。安定したコードの公開ではあるが、プロジェクトとしてはごく初期で、公開時のコミットは3件、リリースタグもない。どちらも違う形で早い段階にある。「プレビュー」を「使えない」と読み違えず、「公式リリース」を「成熟」と読み違えないこと。

選び方

FAQ

出典

• DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
• DeepInfer Q&A — 本番アーキテクチャとキャッシュ設計。
• SGLang V4.1-Flash cookbook — プレビューイメージ、DSpark、PD、HiCache、ルーター、ハードウェア。
• SGLang の day-0 記事 — 機能とハードウェアの対応範囲。
• SGLang のカーネル最適化記事 — 873.63 tokens/s という主張とその構成。
• DeepInfer のベンチマーク — 公式グラフの読み方。

次に読む：DeepInfer と vLLM、DeepInfer と TensorRT-LLM、あるいは比較一覧。