DeepInfer vs vLLM
1モデル専用の DeepSeek エンジンと、200以上のモデルアーキテクチャと OpenAI 互換 API を持つ広く使われる汎用サービングフレームワークの比較。
比較を読む →FIG. 05 — 比較デスク / 2026.10
DeepInfer と vLLM・SGLang、ほか8エンジンの比較
公開資料にもとづく10本の比較。問いは1つ、DeepSeek-V4.1-Flash を動かすサービング層はどれか。適用範囲、ハードウェア、API の広さ、キャッシュ設計、成熟度を比べる。根拠のない速度の数字は使わない。
比較数10サービング · ローカル · コンパイラ
方法適用範囲と適合速度競争ではない
直接比較公開なし2026-10-20 時点
実機検証未実施公開資料ベース
スナップショット2026-10-2011:30 UTC
先に読む
これは適用範囲の比較であり、競争ではない。
捏造したベンチマークはない
DeepInfer は汎用サービングフレームワークの代替品ではない。DeepSeek が Apache-2.0 で公開した、V4.1-Flash という1モデル専用の推論エンジンで、対応ハードウェアも限られている。ここで扱う他のエンジンは層が違う。データセンター向けのサービングスタック、ローカル実行環境、コンパイラ方式のデプロイエンジン、そして1つの編成層だ。
だから「どちらが速いか」を最初に問うのは筋が違う。有用な問いはこうだ。どのモデルが必要か、手元にどのハードウェアがあるか、今すぐ API が要るか、KV cache・ルーティング・マルチノード層を誰が持つのか。
比較の原則
公開されている適用範囲とアーキテクチャを比べる。速度の勝者は宣言しない。DeepInfer とこれらのエンジンを、同じモデル・ハードウェア・コンテキスト・ワークロードで比べた公開結果は存在しない。勝者をうたうページを見かけたら、まずその試験条件を確認してほしい。
| 層 | この比較に含まれるエンジン | 比較で分かること |
|---|---|---|
| データセンター向けサービング | vLLM、SGLang、TensorRT-LLM、LMDeploy、TGI、Xinference、NVIDIA Dynamo | API 層、KV cache、PD 分離、ハードウェア、成熟度、そしてサービングスタックを誰が持つか。 |
| ローカル実行環境 | llama.cpp、Ollama | V4.1-Flash のクラスタ用エンジンがノート PC の実行環境ではない理由と、ローカル推論が適切な場面。 |
| コンパイラ型ランタイム | MLC-LLM | NVIDIA、AMD、Apple、Intel、モバイルへ移植できるコンパイル型デプロイと、固定されたクラスタエンジンの違い。 |
この表は適用範囲の地図であり、ベンチマークではない。出典は各比較ページにリンクしている。
10本の比較
判断したい問いに合う1本を選ぶ。
2026-10-20 更新
DeepInfer vs SGLang
SGLang には DSpark、PD 分離、HiCache、ルーターを備えた V4.1-Flash のプレビュー手順がある。ただし正規リリースではなくプレビューイメージだ。
比較を読む →DeepInfer vs TensorRT-LLM
DeepSeek の V4.1 専用エンジンと、NVIDIA の汎用推論スタックの比較。ハードウェアの固定、API の範囲、エンジンビルドの複雑さで決まる。
比較を読む →DeepInfer vs LMDeploy
InternLM の TurboMind スタックには、DeepSeek V3/R1 の最適化、PD 分離、OpenAI API、Ascend 向けの経路がすでにある。
比較を読む →DeepInfer vs TGI
Hugging Face のサービングツールキットは成熟しているが、保守モードに入っている。新規の V4.1-Flash 配備ではリスク評価が変わる。
比較を読む →DeepInfer vs Xinference
LLM、埋め込み、リランカー、マルチモーダルモデルを扱う基盤であり、V4.1-Flash のエンジンではない。層が違い、トレードオフも違う。
比較を読む →DeepInfer vs NVIDIA Dynamo
Dynamo は vLLM、SGLang、TensorRT-LLM の上に立つ編成層だ。PD サービング、KV を意識したルーティング、KVBM、Kubernetes を担う。
比較を読む →DeepInfer vs llama.cpp
MIT ライセンスの C/C++ ローカル推論と GGUF 量子化、対するは 64 GPU の SM100 エンジン。わざと土俵の違う比較をしている。
比較を読む →DeepInfer vs Ollama
最も手軽なローカル実行環境と、データセンター向けの V4.1-Flash エンジン。「ノート PC でそのまま動かせるのか」を知りたい人向けのページ。
比較を読む →DeepInfer vs MLC-LLM
NVIDIA、AMD、Apple、Intel、モバイル GPU 向けのコンパイラと MLCEngine、対するは DeepSeek の固定された SM100/Ascend エンジン。
比較を読む →方法
何を比べ、何を捏造しないか。
EEAT / 公開資料ベース
比べるもの
適用範囲と適合
対応モデル、ハードウェア、API の範囲、キャッシュ設計、PD 分離、ライセンス、成熟度。いずれも公開ドキュメントで確認できる。
やらないこと
速度の勝者を決める
同じモデル・ハードウェア・ワークロードでの公開ベンチマークは存在しない。ベンダーのグラフをそのまま順位表にはしない。
リンクする
すべての主張に
公式 README、cookbook、モデルカード、ベンダーのブログ。数字がベンダー申告ならそう書く。こちらで動かしていなければ、それも書く。
「VS」ページについて
比較ページは判断の役に立つとき有用で、勝者をでっち上げたときに有害になる。ここにあるのは前者だ。各エンジンがどこに収まるか、エンジニアリングにどれだけかかるか、どんな証拠がまだ足りないかを書いている。
評価の手順
ベンダーのグラフを捨てるなら、こう測る。
7ステップ
| # | 手順 | 固定する項目 |
|---|---|---|
| 1 | モデル | 正確なチェックポイント（例：V4.1-Flash-1017）、量子化、トークナイザー、プロンプトのエンコード。 |
| 2 | エンジン | コミットまたはイメージダイジェスト、ビルドフラグ、CUDA/CANN のバージョン、カーネルやスケジューリングを変えるすべての環境変数。 |
| 3 | ハードウェア | GPU/NPU の種類と枚数、インターコネクト、メモリ、単一ノードかクラスタか。 |
| 4 | ワークロード | 実際の入出力長の分布、セッションあたりのターン数、同時実行数、プレフィックスキャッシュのヒット率。 |
| 5 | レイテンシ | p50/p95/p99 の TTFT と TPOT、同じ SLO でのエラー率とタイムアウト率。 |
| 6 | スループット | レイテンシ制約を明示したうえでの tokens/s。無制限の同時実行でのピーク値ではない。 |
| 7 | コスト | 送出した出力100万トークンあたりのコスト。稼働率、電力、ストレージ、リトライ、アイドル容量を含める。 |
このチェックリストは本サイトの手法であり、ベンダーのベンチマークではない。10エンジンすべてに同じように適用する。