DeepInfer vs LMDeploy: DeepSeek V4.1-Flash 서빙 비교
LMDeploy는 중국 생태계에서 가장 가까운 비교 대상입니다. DeepSeek V3/R1 최적화, PD 분리, OpenAI 호환 API, Ascend 경로를 갖춘 서빙 툴킷입니다. DeepInfer는 더 좁고 V4.1에 특화되어 있습니다.
DeepInfer와 LMDeploy는 모두 DeepSeek 모델에 최적화되어 있지만 같은 제품이 아닙니다. DeepInfer는 단일 모델 DeepSeek-V4.1-Flash를 위한 DeepSeek의 Apache-2.0 엔진으로, 오프라인 전용 릴리스이며 NVIDIA SM100과 Huawei Ascend 950을 지원합니다. LMDeploy는 LLM을 압축, 배포, 서빙하는 InternLM의 오픈소스 툴킷으로, 자체 TurboMind 및 PyTorch 엔진, 완전한 OpenAI 호환 API 서버, 문서화된 DeepSeek V3/R1 작업을 갖고 있습니다. V4.1-Flash에 대한 공개 정면 비교는 없습니다.
한 줄 요약
오늘 서빙 API가 필요하거나 기존 DeepSeek 배포 경로를 원하거나 성숙한 서빙 계층을 갖춘 Ascend 지원 스택이 필요하다면 LMDeploy를 선택하세요. DeepSeek 자체의 V4.1-Flash 엔진과 DSpark/SWA/EPLB 구현이 특별히 필요하고 서비스 계층을 직접 만들 준비가 되어 있다면 DeepInfer를 검토하세요.
핵심 단서: LMDeploy README는 DeepSeek V3/R1을 문서화하며, V4.1-Flash는 문서화하지 않습니다. 이전 DeepSeek 모델을 지원한다고 해서 새 모델도 지원한다고 가정하지 마세요. 도입을 결정하기 전에 현재 지원 매트릭스와 엔진(TurboMind와 PyTorch)을 확인하세요.
각각 무엇인가
DeepInfer
DeepInfer는 DeepSeek-V4.1-Flash를 대규모로 서빙하기 위한 DeepSeek의 오픈소스 추론 프레임워크입니다. Apache-2.0이며 NVIDIA SM100과 Huawei Ascend 950을 지원합니다. 최적화된 커널, Wide-EP/EPLB, DSpark, SWA 경계 재생, 비동기 스케줄링, 결정론적 모드, 구조화 출력을 갖춘 오프라인 엔진을 제공합니다.
이 릴리스에는 KV 캐시 시스템, 프리필/디코드 분리, 데이터 병렬 로드 밸런싱이 빠져 있습니다. 지원 모델도 하나뿐입니다. 가치는 DeepSeek 특유의 튜닝과 프로덕션 추론 스택을 들여다볼 수 있는 가시성에 있습니다.
LMDeploy
LMDeploy는 LLM을 압축, 배포, 서빙하는 오픈소스 툴킷입니다. 두 가지 엔진을 제공합니다. 고성능 CUDA 엔진인 TurboMind와 더 넓은 하드웨어를 지원하는 PyTorch 엔진입니다. 문서화된 기능에는 지속 배칭(연속 배칭), 블록 KV 캐시, 텐서 병렬화, 고성능 CUDA 커널, KV 캐시 양자화, AWQ, 자동 프리픽스 캐싱이 있습니다.
DeepSeek의 경우 LMDeploy는 V3/R1 지원, FlashMLA, DeepGemm, DeepEP, MicroBatch, EPLB 같은 DeepSeek 최적화, DLSlime과 Mooncake를 통한 PD 분리를 문서화합니다. /v1/chat/completions, /v1/models, /v1/completions를 제공하는 OpenAI 호환 API 서버도 포함합니다. PyTorch 엔진은 Huawei Ascend 지원을 문서화합니다.
정면 비교: 속도가 아니라 범위
| 항목 | DeepInfer | LMDeploy |
|---|---|---|
| 유형 | DeepSeek 전용 오프라인 엔진 | 범용 LLM 서빙 툴킷(TurboMind + PyTorch 엔진) |
| V4.1-Flash 지원 | 공식 릴리스. 유일한 지원 모델 | 이 글에서 확인하지 않음. V3/R1 문서화. 지원 매트릭스 확인 필요 |
| 온라인 API | 릴리스에 없음 | OpenAI 호환 API 서버 |
| KV 캐시 | 포함되지 않음 | 블록 KV 캐시, 프리픽스 캐싱, KV 캐시 양자화 |
| PD 분리 | 포함되지 않음 | DLSlime과 Mooncake를 통한 DeepSeek용으로 문서화 |
| DeepSeek 튜닝 | DSpark, SWA 재생, Wide-EP/EPLB | FlashMLA, DeepGemm, DeepEP, MicroBatch, EPLB |
| 하드웨어 | SM100, Ascend 950 | NVIDIA CUDA, PyTorch 엔진을 통한 Ascend |
| 라이선스 | Apache-2.0 | Apache-2.0 |
| 잘 맞는 용도 | V4.1 연구와 맞춤 배포 | DeepSeek V3/R1 서빙, Ascend, API 우선 스택 |
출처: DeepInfer README/Q&A, LMDeploy README와 OpenAI 호환 API 문서. 2026-10-20 확인.
DeepInfer가 앞서는 지점
- V4.1-Flash가 설계 목표. 이 엔진은 V4.1의 CED 아키텍처, DSpark 드래프트 경로, SWA 경계 재생, Wide-EP 디코드 배치를 중심으로 만들어졌습니다. LMDeploy의 공개 DeepSeek 작업은 여전히 V3/R1을 중심으로 설명됩니다.
- DeepSeek 자체의 프로덕션 노트. Q&A는 참조 배포에서 왜 연산을 64+64로 나누는지, EPLB가 부하가 몰린 전문가에 어떻게 반응하는지, KV 캐시 설계가 어떻게 동작하는지 문서화합니다. 범용 툴킷의 기능 목록과는 다른 종류의 근거입니다.
- 결정론적 모드. 배치 불변 추론과 결정론적 샘플링(NVIDIA 전용)이 노출되어 있습니다. 재현 가능한 평가나 감사가 필요하다면 중요합니다.
- 공식 릴리스의 Ascend 950. LMDeploy에도 Ascend 경로가 있지만, DeepInfer는 Ascend 950을 SM100과 나란히 공식 지원 대상으로 명시합니다.
LMDeploy가 앞서는 지점
- 실제 서빙 계층. OpenAI 호환 엔드포인트, 요청 처리, 문서화된 API 서버. DeepInfer는 오프라인 추론에서 멈춥니다.
- 이미 통합된 PD 분리. LMDeploy는 DLSlime과 Mooncake를 통한 DeepSeek PD 배포를 문서화합니다. DeepInfer는 PD를 운영자에게 남깁니다.
- 양자화와 캐시 제어. KV 캐시 양자화, AWQ, 프리픽스 캐싱이 툴킷의 일부입니다. DeepInfer 릴리스에는 서비스 수준 KV 캐시가 없습니다.
- DeepSeek V3/R1 경험. 오늘 그 모델들을 서빙하고 있다면 LMDeploy에는 문서화된 경로가 있습니다. V4.1이 기준선이 아니라 미해결 질문입니다.
- 하드웨어 폭. NVIDIA CUDA와 PyTorch 엔진의 Ascend 경로. TurboMind는 CUDA 중심 엔진입니다.
벤치마크의 함정
LMDeploy README는 연속 배칭, 블록 KV 캐시, 동적 split-and-fuse, 텐서 병렬화, CUDA 커널을 사용해 “vLLM보다 최대 1.8× 높은 요청 처리량”을 주장합니다. 이는 LMDeploy 자체 테스트에서 vLLM과 비교한 것이지 DeepInfer와 비교한 것이 아닙니다.
DeepInfer의 차트는 프리필에 SM100 GPU 4장, 디코드에 64장, 131,072 토큰 컨텍스트, nextn=3과 75% 드래프트 수용률을 쓰는 디코드 구성을 사용합니다. 모델, 하드웨어, 컨텍스트, 배치 정책, 캐시 적중률, SLO를 정규화하지 않고 두 수치를 같은 리더보드에 올릴 수 없습니다.
우리는 두 엔진을 동일한 하드웨어에서 실행해 보지 않았습니다. 결정이 필요하다면 체크포인트, GPU/NPU 모델과 수량, 양자화, 입출력 분포, 동시성을 통제한 뒤 p50/p95/p99의 TTFT와 TPOT, 지연 시간 제약 하의 처리량, 실제 전달된 출력 토큰 백만 개당 비용을 측정하세요.
정확한 버전, 엔진 선택, PD 구성, 캐시 설정을 명시한 외부의 동일 하드웨어 DeepInfer vs LMDeploy V4.1-Flash 비교. 그전까지 “더 빠르다”는 발견이 아니라 가설입니다.
선택 가이드
| 이런 경우 | 추천 | 이유 |
|---|---|---|
| 지금 API가 필요하다 | LMDeploy | OpenAI 호환 서버와 완전한 서빙 계층 |
| DeepSeek V3/R1을 운영한다 | LMDeploy | 문서화된 모델 지원과 DeepSeek 최적화 |
| PD 분리가 필요하다 | LMDeploy | 문서화된 DLSlime/Mooncake 통합 |
| SM100 또는 Ascend 950이 있고 V4.1-Flash만 쓴다 | 둘 다 평가 | DeepInfer는 V4.1 전용. LMDeploy의 V4.1 지원은 확인 필요 |
| DeepSeek의 V4.1 엔진을 공부하고 싶다 | DeepInfer | DSpark, SWA 재생, EPLB, 프로덕션 Q&A |
FAQ
DeepInfer가 LMDeploy보다 빠른가요?
공개된 정면 비교는 없습니다. LMDeploy의 1.8x 처리량 주장은 자체 테스트에서 vLLM과 비교한 것이지 DeepInfer와 비교한 것이 아닙니다. DeepInfer의 차트는 자사 SM100 측정치입니다. 둘 다 워크로드별 근거로 보세요.
LMDeploy가 DeepSeek-V4.1-Flash를 지원하나요?
이 글에서는 확인하지 않았습니다. LMDeploy는 DeepSeek V3/R1 지원, DeepSeek 최적화, PD 분리를 문서화합니다. V4.1-Flash를 가정하기 전에 현재 지원 매트릭스를 확인하세요.
LMDeploy가 Huawei Ascend를 지원하나요?
네. LMDeploy의 PyTorch 엔진은 Huawei Ascend 지원을 문서화하고, TurboMind 엔진은 NVIDIA 중심입니다. 모델 및 엔진 매트릭스를 확인하세요.
어느 쪽을 골라야 하나요?
서빙 API, DeepSeek V3/R1, Ascend 지원 스택이 필요하면 LMDeploy를 쓰세요. V4.1-Flash 전용 연구나 SM100, Ascend 950에서의 맞춤 배포에는 DeepInfer를 검토하세요.
출처
- LMDeploy README — 엔진, DeepSeek 작업, PD 통합, Ascend, 양자화, 라이선스.
- LMDeploy OpenAI 호환 API 문서 — 엔드포인트와 실행 명령.
- DeepInfer README — 범위, 하드웨어, 빠진 구성 요소, 차트.
- DeepInfer 한계 — 빠진 서비스 계층.
- 열 가지 비교 전체 — vLLM, SGLang, TensorRT-LLM, TGI, Xinference, Dynamo, llama.cpp, Ollama, MLC-LLM.
다음: DeepInfer vs TGI, vs Xinference, 또는 비교 허브.