DeepInfer と Xinference：マルチモデル基盤と V4.1-Flash エンジン

DeepInfer と Xinference は直接の競合ではない。DeepInfer は DeepSeek が Apache-2.0 で公開した DeepSeek-V4.1-Flash 専用の推論エンジンで、NVIDIA SM100 と Huawei Ascend 950 を対象にし、配布物はオフラインのみ。Xinference は Apache-2.0 の基盤で、言語、音声、埋め込み、リランク、マルチモーダルの各モデルをサービングし、OpenAI 互換 REST API、function calling、分散ワーカー、Kubernetes へのデプロイ、複数の推論バックエンドを備える。片方は V4.1-Flash のエンジン、もう片方はエンジンの上に立つサービング基盤だ。

結論から

Xinference を選ぶのは、複数種類のモデルを1つの基盤で扱いたい場合、OpenAI 互換 API が必要な場合、ワーカーをまたぐ分散デプロイが要る場合だ。DeepInfer を検討するのは、DeepSeek の V4.1-Flash エンジンや Ascend 950 対応が明確に必要で、サービング層を作る用意がある場合である。

Xinference が他の DeepSeek モデルを扱えるからといって、V4.1-Flash も扱えると決めつけないこと。対応はバックエンドと現行のモデル対応表に依存する。どのバックエンドでそのチェックポイントを動かすのか、そのバックエンドがアーキテクチャに対応しているのかを確認する。

それぞれの概要

DeepInfer

DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。

公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。エンジンであり、モデルカタログではない。

Xinference

Xinference は、言語、音声認識、埋め込み、リランク、マルチモーダルの各モデルをサービングする基盤だ。README には、function calling を備えた OpenAI 互換 RESTful API、RPC と CLI からのアクセス、ワーカー間の分散推論、Kubernetes へのデプロイ、GPU に加えて CPU と Metal への対応が記載されている。

多くのモデルと複数のバックエンドを管理するように設計されている。1モデルのカーネルを最適化するのとは別の仕事だ。vLLM、GGML/llama.cpp 系、TensorRT などのエンジンを統合できるが、得られる性能とモデル対応は選んだバックエンドに依存する。

比較表：速度ではなく適用範囲

出典：DeepInfer の README と Q&A、Xinference の README と機能一覧。2026-10-20 参照。

DeepInfer が優位な点

• V4.1-Flash 専用のカーネルとスケジューリング。Xinference は基盤であり、モデルレベルの最適化はバックエンド側で起きる。基盤層ではない。
• DeepSeek 自身のエンジン。DSpark、SWA リプレイ、EPLB、本番のキャッシュ設計を研究したいなら、DeepInfer がその一次資料だ。
• Ascend 950 が第一級の対象。Xinference はハードウェアの融通が利くが、モデル専用の Ascend エンジンを置き換えるものではない。
• 狭い適用範囲、少ない可動部。1モデル、1エンジン。研究目的の配備なら、マルチバックエンドの基盤より筋を追いやすい。

Xinference が優位な点

• 多くのモデルに1つの API。LLM、埋め込み、リランカー、音声、マルチモーダルモデルを共通の REST 面の背後に置ける。
• function calling と OpenAI 互換性。既存の OpenAI クライアントやエージェントフレームワークを繋ぐときに効く。
• 分散デプロイ。ワーカーと Kubernetes への対応は、統合プロジェクトではなく基盤の設計に含まれている。
• バックエンドの選択。モデルとハードウェアに合うバックエンドを選べる。1つのエンジンに縛られない。
• 運用の面。モデル管理、API の提供、デプロイの道具が1つのプロジェクトに揃っている。

ベンチマークの罠

基盤のベンチマークには基盤が含まれる。Xinference のスループットは、選んだバックエンド、モデル、ハードウェア、リクエストの形に依存する。DeepInfer のグラフは SM100 上での自社測定で、131,072 トークンのコンテキストと、nextn=3 とドラフト受入率 75% を使うデコード設定によるものだ。

Xinference が vLLM バックエンドで動いているなら、実質は「Xinference をコントロールプレーンとした DeepInfer と vLLM の比較」になる。GGML バックエンドなら、ハードウェアと量子化の話が別に乗ってくる。どちらにせよ、2つのエンジンを同じ土俵に置いた「DeepInfer と Xinference」の比較ではない。

こちらは同一のハードウェアでどちらのスタックも動かしていない。公平な試験なら、バックエンド、チェックポイント、ハードウェア、入出力長の分布、SLO を固定する。それがなければ、基盤レベルの数値はエンジンへの判定にはならない。

選び方

FAQ

出典

• Xinference README — モデルの種類、OpenAI API、function calling、分散デプロイ、バックエンド、ライセンス。
• Xinference のドキュメント — デプロイとバックエンドの詳細。
• DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
• DeepInfer と vLLM — vLLM バックエンドが実際に何と比べられるか。
• 10本の比較 — 全体像。

次に読む：DeepInfer と NVIDIA Dynamo、TGI との比較、あるいは比較一覧。