DeepInfer と LMDeploy：DeepSeek V4.1-Flash のサービングを比べる

DeepInfer と LMDeploy はどちらも DeepSeek モデル向けに最適化されているが、同じ製品ではない。DeepInfer は DeepSeek が Apache-2.0 で公開した、DeepSeek-V4.1-Flash 専用のエンジンで、配布物はオフラインのみ、対応は NVIDIA SM100 と Huawei Ascend 950 だ。LMDeploy は InternLM のオープンソースツールキットで、LLM の圧縮、デプロイ、サービングを担う。独自の TurboMind エンジンと PyTorch エンジン、完全な OpenAI 互換 API サーバーを持ち、DeepSeek V3/R1 の取り組みも文書化している。V4.1-Flash について公開された直接比較はない。

結論から

LMDeploy を選ぶのは、今すぐ提供できる API が必要な場合、DeepSeek の既存のデプロイ経路を使いたい場合、成熟したサービング層を備えた Ascend 対応スタックが要る場合だ。DeepInfer を検討するのは、DeepSeek 自身の V4.1-Flash エンジン、とくに DSpark/SWA/EPLB の実装が欲しく、サービング層は自分で作る用意がある場合である。

重要な但し書きがある。LMDeploy の README が文書化しているのは DeepSeek V3/R1 であり、V4.1-Flash ではない。古い DeepSeek モデルに対応しているからといって、新しいモデルも対応していると決めつけないこと。採用前に現行の対応表と、TurboMind か PyTorch かというエンジンの別を確認する。

それぞれの概要

DeepInfer

DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。

公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。価値は DeepSeek 固有のチューニングと、本番の推論スタックを覗ける点にある。

LMDeploy

LMDeploy は、LLM の圧縮、デプロイ、サービングを行うオープンソースツールキットだ。エンジンは2つある。高性能な CUDA エンジンの TurboMind と、より広いハードウェアに対応する PyTorch エンジンである。文書化されている機能には、永続バッチ（連続バッチ処理）、ブロック単位の KV cache、テンソル並列、高性能な CUDA カーネル、KV cache の量子化、AWQ、自動プレフィックスキャッシュがある。

DeepSeek については、V3/R1 への対応、FlashMLA、DeepGemm、DeepEP、MicroBatch、EPLB といった DeepSeek 向け最適化、DLSlime と Mooncake を介した PD 分離が文書化されている。さらに /v1/chat/completions、/v1/models、/v1/completions を備えた OpenAI 互換 API サーバーも同梱する。PyTorch エンジンは Huawei Ascend 対応を文書化している。

比較表：速度ではなく適用範囲

出典：DeepInfer の README と Q&A、LMDeploy の README と OpenAI 互換 API のドキュメント。2026-10-20 参照。

DeepInfer が優位な点

• V4.1-Flash が設計の出発点。エンジンは V4.1 の CED アーキテクチャ、DSpark のドラフト経路、SWA 有界リプレイ、Wide-EP のデコード配置を前提に作られている。LMDeploy の公開された DeepSeek 向けの取り組みは、いまも V3/R1 を中心に説明されている。
• DeepSeek 自身の本番ノート。Q&A には、参照構成で演算をなぜ 64+64 に分けるのか、EPLB がホットなエキスパートにどう反応するのか、KV cache の設計がどうなっているのかが書かれている。汎用ツールキットの機能一覧とは種類の違う証拠だ。
• 決定論モード。バッチ不変推論と決定論的サンプリング（NVIDIA のみ）が表に出ている。再現性のある評価や監査が必要なら、これは効く。
• Ascend 950 が公式リリースに含まれる。LMDeploy にも Ascend 経路はあるが、DeepInfer は Ascend 950 を SM100 と並ぶ第一級の対象として挙げている。

LMDeploy が優位な点

• 本物のサービング層。OpenAI 互換のエンドポイント、リクエスト処理、文書化された API サーバーがある。DeepInfer はオフライン推論で止まる。
• PD 分離がすでに統合済み。LMDeploy は DLSlime と Mooncake を介した DeepSeek の PD デプロイを文書化している。DeepInfer は PD を運用者に任せる。
• 量子化とキャッシュの制御。KV cache の量子化、AWQ、プレフィックスキャッシュがツールキットに含まれる。DeepInfer の公開版にはサービスレベルの KV cache がない。
• DeepSeek V3/R1 の実績。現在これらのモデルをサービングしているなら、LMDeploy には文書化された経路がある。V4.1 が未解決の問いであって、基準線ではない。
• ハードウェアの広さ。NVIDIA CUDA に加え、PyTorch エンジン経由の Ascend 経路がある。TurboMind は CUDA に軸を置いたエンジンだ。

ベンチマークの罠

LMDeploy の README は、連続バッチ処理、ブロック単位の KV cache、動的な split-and-fuse、テンソル並列、CUDA カーネルを用いて「vLLM 比で最大 1.8 倍のリクエストスループット」と主張している。これは LMDeploy 自身の試験における vLLM との比較であり、DeepInfer との比較ではない。

DeepInfer のグラフは prefill に 4 基、decode に 64 基の SM100 GPU を使い、コンテキストは 131,072 トークン、デコード設定は nextn=3 とドラフト受入率 75% だ。この2つの数値は、モデル、ハードウェア、コンテキスト、バッチ方針、キャッシュヒット率、SLO を揃えない限り、同じ順位表には置けない。

こちらは同一のハードウェアでどちらのエンジンも動かしていない。判断が必要なら、チェックポイント、GPU/NPU の種類と枚数、量子化、入出力長の分布、同時実行数を固定し、p50/p95/p99 の TTFT と TPOT、レイテンシ制約下のスループット、送出した出力100万トークンあたりのコストを測る。

選び方

FAQ

出典

• LMDeploy README — エンジン、DeepSeek 向けの取り組み、PD 統合、Ascend、量子化、ライセンス。
• LMDeploy OpenAI 互換 API のドキュメント — エンドポイントと起動コマンド。
• DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
• DeepInfer の制限 — 欠けているサービング層。
• 10本の比較 — vLLM、SGLang、TensorRT-LLM、TGI、Xinference、Dynamo、llama.cpp、Ollama、MLC-LLM。

次に読む：DeepInfer と TGI、Xinference との比較、あるいは比較一覧。