DeepInfer と TGI：Hugging Face のサーバーは V4.1-Flash に適するか
TGI は成熟し、本番で実績のあるサービングツールキットであり、同時に保守モードにある。DeepInfer は若い V4.1-Flash 専用エンジンだ。興味深い問いはどちらが速いかではなく、新規の配備でどちらのプロジェクトに依存したいかである。
DeepInfer と TGI はライフサイクルの異なる位置にある。DeepInfer は DeepSeek が Apache-2.0 で公開した、DeepSeek-V4.1-Flash 専用の推論エンジンで、2026年10月に公開され、SM100 と Ascend 950 のハードウェアを狙う。TGI は Hugging Face の Rust/Python/gRPC ツールキットで、LLM のサービングを担い、OpenAI 互換の Messages API、テンソル並列、連続バッチ処理、長年の本番運用実績を持つ。ただし README は今や保守モードにあると明言している。V4.1-Flash について公開された直接比較はない。
結論から
新規の V4.1-Flash 配備なら、TGI から始めない。TGI が保守モードにあることは、新しいフロンティアモデルへの対応リスクを高める。README も、今後の最適化推論には vLLM と SGLang を推奨している。DeepInfer を検討するのは、DeepSeek 自身の V4.1-Flash エンジンが欲しい、あるいは Ascend 950 が必要な場合だ。ただしサービング層は自分で作ることになる。
TGI を続けるのは、すでに運用していて、モデルも対応しており、移行の運用コストが利得を上回る場合だ。妥当な判断である。ただし保守モードという但し書きを机の上に置いたうえで決めてほしい。
それぞれの概要
DeepInfer
DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。
公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。エンジンのリリースであり、サービング基盤ではない。
TGI
TGI はテキスト生成推論のための Rust、Python、gRPC サーバーで、Hugging Face の本番環境で使われている。README にはテンソル並列、連続バッチ処理、量子化（AWQ、GPTQ、Marlin、bitsandbytes、EETQ、fp8）、OpenTelemetry のトレース、Prometheus のメトリクスが挙げられている。ドキュメントは PagedAttention、Flash Attention、投機的実行、LoRA を扱う。
バージョン 1.4.0 以降、TGI は「OpenAI Chat Completion API と完全に互換」な Messages API に対応し、/v1/chat/completions を含む。ハードウェアのドキュメントは NVIDIA と AMD Instinct MI210/MI250 を扱い、Intel Gaudi、AWS Trainium/Inferentia、Google TPU のガイドもある。ライセンスは Apache-2.0 だ。
比較表：速度ではなく適用範囲
| 項目 | DeepInfer | TGI |
|---|---|---|
| 種類 | DeepSeek 専用のオフラインエンジン | Hugging Face のサービングツールキット（保守モード） |
| V4.1-Flash 対応 | 公式リリース。対応モデルはこれのみ | 前提にできない。対応アーキテクチャと現行リリースを確認 |
| オンライン API | 公開版にはなし | OpenAI 互換 Messages API、gRPC サーバー |
| KV cache | 含まれない | PagedAttention、連続バッチ処理 |
| PD 分離 | 含まれない | README の機能一覧にはない。バージョンを確認 |
| 可観測性 | サービスではない | OpenTelemetry のトレース、Prometheus のメトリクス |
| ハードウェア | SM100、Ascend 950 | NVIDIA、AMD MI210/MI250。Gaudi、Trainium、TPU は別途ドキュメント |
| ライセンス | Apache-2.0 | Apache-2.0 |
| 成熟度 | 初期の公開リリース | 成熟、本番実績あり、保守モード |
| 向いている用途 | V4.1 の研究と独自デプロイ | 対応モデルで稼働中の既存 TGI 配備 |
出典：DeepInfer の README と Q&A、TGI の README、Messages API のドキュメント、そして何より保守モードの告知。2026-10-20 参照。
DeepInfer が優位な点
- V4.1-Flash のために作られている。エンジンは1つのモデルと、その CED アーキテクチャ、DSpark のドラフト経路、SWA 有界リプレイ、Wide-EP のデコード配置を狙う。
- 動いている。DeepInfer は新しいリリースであり、保守モードのプロジェクトではない。V4.1-Flash が変われば、対応する作業が最も早く現れるのは DeepSeek のエンジンだろう。
- Ascend 950。TGI の文書化されたハードウェアは NVIDIA/AMD と、別途ガイドを要する他のアクセラレータだ。DeepInfer は Ascend 950 を第一級の対象として挙げている。
- 本番ノート。Q&A は 64+64 の分割、EPLB、キャッシュ設計を異例なほど詳しく説明している。実際に配備しなくても価値がある。
TGI が優位な点
- 本物のサービング面。OpenAI 互換 Messages API、gRPC、テンソル並列、そして Hugging Face での本番運用の歴史。
- 可観測性。OpenTelemetry と Prometheus が第一級で扱われる。DeepInfer には観測対象のサービスがない。
- 量子化とモデルの道具。AWQ、GPTQ、Marlin、bitsandbytes、EETQ、fp8、LoRA、guidance/JSON 対応が文書化されている。
- ハードウェアのドキュメント。NVIDIA と AMD の経路に加え、Gaudi、Trainium/Inferentia、TPU のガイドがある。
- 運用の成熟度。TGI は広く配備されてきた。DeepInfer の公開コミットは公開時点で3件だ。
保守モードという但し書き
TGI の README は注意書きから始まる。プロジェクトは現在、保守モードにある。軽微なバグ修正、ドキュメントの改善、軽い保守作業のプルリクエストは受け付ける。今後の最適化推論には vLLM と SGLang を推奨している。
それで TGI が使えなくなるわけではない。新しいフロンティアモデルにとっては、既定の選択肢として弱くなるということだ。TGI がまだ V4.1-Flash に対応していないなら、保守モードという方針は、対応が来ないかもしれないという強い材料になる。すでに対応しているなら、置いていかれる日のための移行計画は依然として必要だ。
V4.1-Flash 対応を含む TGI の活発なリリースと、公開された保守のロードマップ。それが出るまでは、「TGI は成熟している」は正しいが、「TGI は新しいモデルにとって安全な選択だ」は正しくない。
ベンチマークの罠
V4.1-Flash 上での DeepInfer と TGI の公開された直接比較はない。TGI の公開性能はモデル、GPU、テンソル並列度、量子化、バッチ方針に依存する。DeepInfer のグラフは SM100 上での自社測定で、131,072 トークンのコンテキストと、nextn=3 とドラフト受入率 75% を使うデコード設定によるものだ。
こちらは同一のハードウェアでどちらのエンジンも動かしていない。公平な試験なら、チェックポイント、ハードウェア、入出力長の分布、キャッシュヒット率、SLO を固定し、p50/p95/p99 の TTFT と TPOT、レイテンシ制約下のスループットを報告する。そうした試験は公開されていない。
選び方
| こういう場合 | まず選ぶなら | 理由 |
|---|---|---|
| 新規に V4.1-Flash のサービスを始める | vLLM か SGLang、必要なら DeepInfer | TGI は保守モード。DeepInfer はサービング層を持たないエンジン |
| 対応モデルで TGI をすでに運用している | 継続しつつ計画を立てる | 移行コストが利得を上回ることがある。対応リスクは追う |
| OpenTelemetry/Prometheus が必要 | TGI か他のサービングスタック | DeepInfer はサービスを同梱しない |
| Ascend 950 がある、または DeepSeek の V4.1 エンジンが欲しい | DeepInfer | 公式の V4.1-Flash 対象と Ascend 経路 |
| 今すぐ提供できる API が必要 | vLLM/SGLang | どちらも API 層を提供する。TGI は保守モード |
FAQ
DeepInfer は TGI より速いのか
DeepSeek-V4.1-Flash について公開された直接比較はない。TGI は保守モードにあり、公開性能はモデルとハードウェアに依存する。DeepInfer のグラフは SM100 上での自社測定だ。
TGI は DeepSeek-V4.1-Flash に対応しているのか
本記事では確認していない。TGI のモデル対応は対応アーキテクチャと現行リリースに依存する。保守モードにあるため、新しいフロンティアモデルへの対応を前提にしないこと。
TGI はまだ保守されているのか
TGI は保守モードにある。README は軽微なバグ修正、ドキュメント、軽い保守作業を受け付けるとし、今後の最適化推論には vLLM と SGLang を推奨している。
どちらを選ぶべきか
TGI を選ぶのは、すでに運用していて対応モデルに留まれる場合だけだ。新規の V4.1-Flash 配備なら vLLM か SGLang から始め、DeepSeek 固有の研究には DeepInfer を検討する。
出典
- TGI README — 保守モードの告知、機能、ライセンス。
- TGI Messages API — OpenAI Chat Completion との互換性。
- DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
- DeepInfer と vLLM — 新規サービス向けの推奨代替。
- 10本の比較 — データセンター、ローカル、コンパイラ型ランタイム。
次に読む：DeepInfer と LMDeploy、Xinference との比較、あるいは比較一覧。