DeepInfer 밖으로: DeepSeek-V4.1-Flash를 12 GB GPU에서 실행하기
새로운 2-bit GGUF, MIT 라이선스 로컬 런타임, 그리고 막 병합된 llama.cpp 지원이 이번 주 V4.1-Flash의 로컬 경로를 바꿨습니다. 12 GB는 사실입니다. 하지만 나머지 청구서는 46–64 GB 메모리, 240–275 GB 저장 공간, 그리고 최대 10 tokens/s 안팎입니다.
2026년 10월 23일, 오스트리아 ISTA-DASLab은 DeepSeek-V4.1-Flash-1017의 GGUF 빌드 세 가지를 공개했습니다. 모델 카드에 따르면 Strata 런타임과 함께 12 GB GPU 한 장에서 실행됩니다. 이틀 뒤 llama.cpp는 V4.1-Flash 아키텍처 지원을 병합했습니다. DeepInfer가 SM100 클러스터에서 서비스하는 모델로서는 모순처럼 들립니다. 하지만 모순이 아닙니다. 다른 제품이고, 다른 청구서가 있으며, 다른 일을 합니다.
공개 자료에 기반한 릴리스 노트입니다. 모델 카드, 러너 문서, 릴리스 노트, llama.cpp PR을 읽었습니다. 250 GB 파일을 내려받거나 모델을 실행하거나 벤치마크를 돌리지는 않았습니다. 아래의 모든 성능·품질 수치는 프로젝트 자체 측정이며 독립 결과가 아니라고 표시했습니다. DeepInfer의 핵심 사실은 사이트의 2026-10-20 스냅샷 기준이고, 로컬 런타임 사실은 2026년 10월 26일에 확인했습니다. 이 사이트는 독립 팬메이드 사이트이며 방법은 About 페이지에 있습니다. ISTA-DASLab, Strata 관리자, DeepSeek와 관계가 없습니다.
결론부터
데스크톱 한 대에서 V4.1-Flash를 시험해 보고 싶다면, 64+64 GPU 클러스터로 시작하지 않는 공개 경로 중 하나입니다. 12 GB VRAM, 46–64 GB 시스템 메모리, 최소 275 GB의 빈 NVMe 공간, 그리고 프로젝트가 테스트한 GPU에서 대략 4–11 tokens/s를 예산으로 잡으세요.
사용자에게 서비스하려면, 여기 있는 어떤 것도 DeepInfer를 대체하지 않습니다. DeepInfer는 여전히 SM100과 Ascend 950을 위한 오프라인 클러스터 엔진이고, 모델은 하나만 지원하며, KV 캐시 시스템, prefill/decode 분리, 레플리카 간 부하 분산이 없습니다. 요청 하나를 5 tokens/s로 처리하는 데스크톱은 64+64 GPU 배포의 축소판이 아니라 다른 제품입니다.
llama.cpp 생태계를 쓰고 싶다면, 아키텍처 지원은 업스트림에 들어갔지만 그것이 “이 특정 GGUF 패키지가 mainline llama.cpp에서 로드된다”는 뜻은 아닙니다. 이 패키지는 Engram 테이블을 110.6 GB 별도 파일로 배포하고, 업스트림 변환기는 Engram을 모델 GGUF 안에 씁니다. 250 GB를 내려받기 전에 파일 배치를 확인하세요.
기억할 한 문장: 763B 파라미터 모델이 12 GB로 줄어든 것이 아닙니다. backbone을 가중치당 1.75–2.25 bit로 양자화하고, 나머지는 런타임이 메모리와 SSD에서 스트리밍합니다. 12 GB는 GPU 하한이지 전체 메모리 예산이 아닙니다.
이번 주에 나온 것
로컬 경로는 한 번의 릴리스가 아니라 나흘에 걸친 여러 릴리스로 만들어졌습니다.
| 날짜(UTC) | 릴리스 | 추가된 것 |
|---|---|---|
| 10-23 | ISTA-DASLab GSQ-RCO GGUF | V4.1-Flash-1017 양자화 세 가지: 1.75, 2.00, 2.25 bits per weight. GSQ와 RCO 참조 코드는 Apache-2.0, 양자화 가중치는 베이스 모델의 MIT 라이선스를 따릅니다. |
| 10-24 | Strata 0.2.4 | MIT 라이선스 서드파티 런타임. 먼저 Terminal 경로에 V4.1-Flash를 추가했습니다. 데스크톱 앱은 아직 따라오지 않았습니다. |
| 10-25 | Strata 0.2.5 / 0.2.6 | 0.2.5가 데스크톱 앱에 V4.1-Flash를 넣었고, 0.2.6은 스트레스 테스트 수정과 함께 RAM이 충분한 머신이 CPU 쪽 전문가를 전부 메모리에 올려 더 빠르게 실행하도록 했습니다. |
| 10-25 | llama.cpp PR #31086 | deepseek41 아키텍처 병합: 변환기, DSpark 드래프트, 비전 프로젝터, DSV4 KV 캐시. 후속 PR #31137은 10-26에 병합됐습니다. |
날짜는 Hugging Face와 GitHub API 기준입니다. 프로젝트 릴리스 노트는 현지 날짜를 쓸 수 있습니다.
순서가 중요합니다. 양자화가 모델을 “시험해 볼 만한” 크기로 만들었고, 런너가 빌드 체인 없이 쓸 수 있게 했고, llama.cpp가 가장 큰 로컬 추론 생태계 중 하나에 연결했습니다. 세 가지 모두 필요하지만 어느 하나만으로는 충분하지 않습니다.
GSQ-RCO가 바꾼 것
GSQ-RCO는 새 모델이 아니라 공개된 V4.1-Flash-1017 체크포인트에 적용하는 양자화 방법입니다. GSQ는 각 텐서의 저비트 스칼라 양자화를 맡고, RCO는 전체 크기 예산 아래에서 텐서마다 양자화 유형을 할당합니다. 결과물은 표준 GGUF이며 특정 런타임만 읽는 사설 포맷이 아닙니다.
핵심 단어는 “텐서별”입니다. 균일한 2-bit는 모든 곳에 같은 유형을 씁니다. 이번 릴리스는 유형을 넘나들며 탐색합니다. dense 텐서(attention, shared experts, embedding, output head)는 Q5_K, Q6_K, Q8_0 중에서, routed experts는 IQ1_S부터 IQ3_S 중에서 고릅니다. routed experts가 파라미터 대부분을 차지하므로 탐색의 자유도 대부분이 그쪽에 쓰입니다.
| 빌드 | backbone 평균 bpw | Backbone | 공유 Engram | 합계(ISTA) | Strata 다운로드 |
|---|---|---|---|---|---|
IQ1_M | 1.75 | 120.72 GB | 110.60 GB | 231.32 GB | 239 GB |
IQ2_XXS | 2.00 | 138.24 GB | 110.60 GB | 248.84 GB | 257 GB |
IQ2_XS | 2.25 | 155.23 GB | 110.60 GB | 265.83 GB | 274 GB |
Strata 수치가 더 큰 이유는 약 8 GB의 DSpark 드래프트를 함께 포함하기 때문입니다. Engram 파일은 세 빌드가 공유하므로 한 번만 받으면 됩니다.
가장 많이 놓치는 부분은 Engram 테이블입니다. 196.6B 파라미터를 IQ4_NL(4.50 bits per weight)로 담아 110.60 GB 조회 테이블이 됩니다. 행렬곱 가중치가 아니라 토큰마다 한 행을 희소하게 읽는 구조라서 VRAM이나 RAM을 차지하지 않고 디스크에 mmap할 수 있습니다. “12 GB GPU”가 성립하는 이유이자, NVMe가 선택이 아니라 필수인 이유입니다.
베이스 모델은 희소 MoE입니다. 763.2B 파라미터, 레이어마다 routed experts 384개, 토큰마다 6개 활성화, 컨텍스트 1M. 양자화 카드는 공개 가중치를 FP8 dense, FP4 routed로 설명합니다. 2-bit 빌드는 그와 다른, 훨씬 작은 동작점이며 무손실 복사본이 아닙니다.
“12 GB”를 뜯어보기
“12 GB GPU에서 실행된다”는 기술적으로 맞지만 실무적으로는 불완전합니다. 모델 카드는 backbone 전체가 VRAM에 들어갈 필요가 없다고 설명합니다. Strata에서는 나머지를 시스템 메모리에 둡니다. 런너는 자주 쓰는 전문가를 RAM에 유지하고 나머지를 SSD에서 스트리밍하며, Engram 테이블은 디스크에 남깁니다. GPU는 메모리 계층의 한 부분일 뿐 전체가 아닙니다.
| 요구 사항 | 자료의 설명 | 왜 중요한가 |
|---|---|---|
| GPU | 12 GB VRAM. Windows/Linux의 NVIDIA RTX 30/40/50 시리즈, Linux의 AMD Radeon AI PRO R9700 | 하한이며 전체 메모리 예산이 아닙니다. 이 릴리스의 DeepSeek 엔진은 macOS를 지원하지 않습니다. |
| 시스템 메모리 | 프로젝트가 테스트한 최소 구성은 약 46 GB. 64 GB가 테스트된 편안한 값. 약 40 GB 미만은 미검증이며 느림 | VRAM에 들어가지 않는 전문가는 RAM에 놓입니다. RAM이 적을수록 SSD 페이징이 늘어납니다. |
| 저장 공간 | 빌드 하나 239 / 257 / 274 GB. 세 개 모두 533 GB. NVMe 권장 | Engram 테이블을 디스크에서 읽습니다. 느린 드라이브는 생성 토큰마다 영향을 줍니다. |
| 컨텍스트 | Strata에서는 8K 고정. --context로 더 요청 가능 | 모델은 1M 토큰을 지원하지만 로컬 런너가 확인한 설정은 훨씬 짧습니다. |
| 동시성 | 한 번에 요청 하나. --parallel은 경고와 함께 무시됨 | 멀티테넌트 서버가 아니라 단일 사용자 런타임입니다. |
| 속도 | RTX 5070 12 GB + 64 GB RAM 약 4–6 tok/s, RTX 3060 12 GB + 46 GB RAM 약 9–11 tok/s, R9700 한 장 약 21–25 tok/s, R9700 네 장 약 74–77 tok/s | 프로젝트 측정이며 독립 벤치마크가 아닙니다. 프롬프트 처리는 별도 수치이고 보통 훨씬 빠릅니다. |
이 표가 실질적인 구매 가이드입니다. 12 GB 게이밍 GPU와 16 GB RAM만 있다면 이 경로는 맞지 않습니다. 12 GB GPU, 64 GB RAM, 빠른 2 TB NVMe가 있다면 프로젝트가 실제로 테스트한 구성에 들어갑니다. 두 머신의 차이는 세 양자화 빌드의 차이보다 훨씬 큽니다.
버전 세부 사항도 짚어 둡니다. 속도 수치는 ISTA-DASLab이 아니라 Strata 자체 릴리스 노트와 모델 표에서 나옵니다. Strata 0.2.6은 CPU 쪽 전문가를 8 GiB 여유를 두고 전부 RAM에 올릴 수 있는 머신에서 로드 시 복사하고 온디맨드 스토어를 건너뛰도록 했습니다. 큰 RAM 머신에서는 빨라지지만 46 GB 하한은 바뀌지 않습니다.
비교를 바꾸는 설정이 하나 더 있습니다. Strata 0.2.5는 토큰마다 모델의 전문가 6개 중 5개만 쓰는 Faster 모드를 추가했고, VRAM 16 GB 이하 GPU에서 기본값입니다. 공개된 품질 수치는 Faster 모드였는지 밝히지 않습니다. 12 GB GPU에서 기본 설정을 쓴다면 벤치마크와 비교하기 전에 확인하세요.
두 가지 품질 지표는 같은 말을 하지 않습니다
ISTA-DASLab은 깔끔한 결과를 내놓습니다. 2.00-bit 빌드는 세 벤치마크 모두에서 베이스 모델과 같고, 작업 평균 복구율은 100.0%입니다. 강한 헤드라인이지만 보이는 것보다 좁은 주장입니다.
| 변형 | bpw | AIME25 | GPQA-Diamond | LiveCodeBench v6 | 작업 평균 | 복구율 |
|---|---|---|---|---|---|---|
| 베이스(FP8 / FP4) | — | 100.00 | 90.91 | 89.71 | 93.54 | 100.0% |
| IQ1_M | 1.75 | 100.00 | 88.38 | 88.57 | 92.32 | 98.7% |
| IQ2_XXS | 2.00 | 100.00 | 90.91 | 89.71 | 93.54 | 100.0% |
| IQ2_XS | 2.25 | 100.00 | 90.40 | 89.71 | 93.37 | 99.8% |
ISTA-DASLab이 reasoning effort 50에서 측정. 작성자 자체 측정이며 독립 재현은 없습니다. AIME25는 모든 행이 100.00으로 포화되어 빌드를 구분하지 못합니다.
평균만 보지 말고 열을 보세요. AIME25는 베이스와 모든 양자화 빌드가 100.00이라 이 난이도에서는 변별력이 없습니다. 진짜 신호는 GPQA-Diamond(IQ1_M 88.38, 베이스 90.91)와 LiveCodeBench v6(88.57 대 89.71)에 있습니다. 2.00-bit는 둘 다 따라잡았고, 1.75-bit는 작업 평균 약 1.2점, 2.25-bit는 약 0.2점 낮습니다. 세 벤치마크 평균에서는 작은 차이이며, 당신의 워크로드에서 사라질 수도 커질 수도 있는 종류의 차이입니다.
Strata는 다른 이야기를 합니다. 고정된 4,995개 위치에서 perplexity를 측정해 2.00-bit가 원 모델보다 15.5% 높고, 2.25가 7.3%, 1.75가 21% 높다고 보고합니다. 코드와 agent 텍스트 저하도 보고합니다. 2.00은 8.6%와 5.3%, 2.25는 3.2%와 2.2%, 1.75는 8.9%와 10.2%입니다. 1.75는 평이한 영어 산문에서 특히 약하고(perplexity +53%), 문서는 +24%입니다.
두 숫자 모두 동시에 사실일 수 있습니다. 세 작업 평균은 거칠고 포화될 수 있습니다. perplexity와 KL divergence는 벤치마크 평균이 가리는 분포 이동을 봅니다. “100.0% 복구”는 그 reasoning effort에서 그 세 작업에서 베이스와 같았다는 뜻입니다. 양자화 모델이 모든 텍스트에서 원 모델과 구별 불가능하다는 뜻이 아닙니다. 장문 작성, 다국어 콘텐츠, 특이한 도구 호출이 업무라면 작업 평균만으로는 증거가 부족합니다.
“100% 품질”은 양자화 빌드의 속성이 아닙니다. 특정 벤치마크 집합, 특정 reasoning effort, 특정 베이스 체크포인트에서 나온 하나의 결과입니다. 정직하게 쓰면 두 문장을 함께 씁니다. “reasoning effort 50의 AIME25, GPQA-Diamond, LiveCodeBench v6에서 2.00-bit 빌드는 베이스의 작업 평균과 같았다. 별도의 4,995개 위치에서는 perplexity가 15.5% 높았다.”
llama.cpp 지원은 병합됐다. 하지만 이 패키지가 실행된다는 뜻은 아니다
10월 25일 llama.cpp는 PR #31086 “model: DSV4.1 flash”를 병합했습니다. 이 PR은 deepseek41 아키텍처, 변환기, DSpark 드래프트 모델, 비전 프로젝터, DSV4 KV 캐시 확장을 추가합니다. 후속 PR #31137은 10월 26일 리뷰 수정과 함께 병합됐습니다. 실제 업스트림 지원이며, V4.1-Flash가 llama.cpp 생태계에서 업스트림 llama.cpp에 들어온 순간입니다.
하지만 “llama.cpp가 V4.1-Flash를 지원한다”와 “ISTA-DASLab GGUF가 mainline llama.cpp에서 로드된다”는 다른 체크박스입니다. ISTA 패키지는 Engram 테이블을 110.60 GB 별도 파일로 배포합니다. 업스트림 변환기는 Engram 테이블을 모델 GGUF 안에 per-layer token embedding tensor로 쓰고, 런타임은 거기서 읽습니다. 서로 다른 레이아웃입니다.
10월 26일 확인 기준으로 모델 카드는 여전히 이렇게 적혀 있습니다. “As of October 23, 2026, llama.cpp does not support DeepSeek-V4.1, so these GGUFs do not run in llama.cpp yet. They are supported in Strata.” llama.cpp 명령은 “llama.cpp가 지원한 뒤”의 미래 단계로 쓰여 있습니다. 이 문장은 곧 낡을 수 있습니다. 아키텍처 지원은 이미 병합됐으니까요. 하지만 이 패키지 자체는 별도 Engram 파일을 읽는 mainline llama.cpp 빌드를 아직 문서화하지 않았습니다.
그래서 실용적인 조언은 지루하지만 중요합니다. llama.cpp를 쓰고 싶다면 Engram 테이블을 GGUF에 넣은 빌드에서 시작하거나, 병합된 변환기로 HF 체크포인트에서 직접 변환하세요. ISTA 2-bit 빌드를 쓰고 싶다면 모델 카드가 업스트림 경로를 문서화할 때까지 Strata를 쓰세요. “지원이 병합됐다”는 이유로 “이 패키지가 실행된다”고 가정하고 250 GB를 받지 마세요.
주의점이 하나 더 있습니다. 병합된 PR은 attention 경로를 두 개 추가했고, 기본은 최적화된 sparse gather, dense 참조 경로는 LLAMA_DSV41_SPARSE=0 뒤에 있습니다. dense 경로는 정확성 참조이지 속도 권장이 아닙니다. 업스트림 지원도 며칠 되지 않았고 후속 수정이 계속 들어옵니다. 안정된 런타임이 아니라 새 코드로 취급하세요. 클러스터 엔진과 로컬 런타임의 범위 비교는 DeepInfer vs llama.cpp에서 볼 수 있습니다.
DeepInfer가 여전히 강한 곳
DeepInfer는 오프라인 추론 엔진이며 호스팅 API도 모델도 아닙니다. NVIDIA SM100과 Huawei Ascend 950을 지원하고 DeepSeek-V4.1-Flash 하나만 서비스합니다. KV 캐시 시스템, VE/prefill/decode 분리, 데이터 병렬 레플리카 간 부하 분산도 포함하지 않습니다. 작은 누락이 아니라 엔진과 서비스의 차이입니다.
| 차원 | DeepInfer | GSQ-RCO + Strata | llama.cpp |
|---|---|---|---|
| 역할 | 단일 모델 클러스터 추론 | 단일 사용자 로컬 추론 | GGUF 모델용 로컬/엣지 런타임 |
| 하드웨어 | NVIDIA SM100, Huawei Ascend 950 | 12 GB+ RTX 30/40/50, Radeon AI PRO R9700, 46–64 GB RAM | 넓은 CPU/GPU 매트릭스. 빌드와 모델 지원에 따름 |
| 모델 형식 | HF 체크포인트 | GGUF, backbone 1.75–2.25 bpw | GGUF, 다양한 양자화 유형 |
| 컨텍스트 | 모델은 최대 1M. 배포 설정이 결정 | Strata에서 8K 확인 | 빌드와 메모리에 따름 |
| 동시성 | 클러스터 스케줄링, Wide-EP, EPLB | 한 번에 요청 하나 | 로컬 서버. 멀티테넌트 클러스터 아님 |
| 서빙 계층 | 미포함: KV 캐시, PD 분리, 레플리카 부하 분산 | 로컬 OpenAI 호환 엔드포인트 | 로컬 OpenAI 호환 서버 |
| 품질 증거 | DeepSeek 차트. 제3자 재현 없음 | 작성자 측정 벤치마크, 프로젝트 측정 perplexity | GGUF와 빌드에 따름 |
DeepSeek는 최소 효율적 생산 단위를 prefill 64 GPU + decode 64 GPU라고 말합니다. 이 숫자가 DeepInfer의 용도를 가장 분명하게 보여줍니다. 5 tokens/s 데스크톱은 비공개 초안, 프롬프트 실험, 도구 호출 프로토타입에는 쓸 수 있습니다. 지연 SLO가 있는 다중 사용자 부하를 감당하지 못하고, 110 GB Engram 테이블을 수백 개 동시 시퀀스에 나눠 줄 수도 없습니다.
공정한 속도 비교도 아닙니다. DeepInfer의 decode 차트는 SM100 64장, EP64DP64, 131,072 토큰 컨텍스트, 75% 드래프트 수용률 가정을 씁니다. RTX 5070 한 장, 8K 컨텍스트는 다른 실험입니다. 둘 사이에 공개된 동일 조건 비교는 없고, 이 글도 만들지 않습니다.
유용한 구분은 워크로드별입니다. 병목이 “접근 가능한가”라면 로컬 스택입니다. 모델이 내가 통제하는 머신에 있고, 토큰 과금이 없으며, 긴 답변에 몇 분을 기다릴 수 있습니다. 병목이 처리량이라면 DeepInfer입니다. 다중 사용자, 캐시 재사용, 긴 컨텍스트, 그리고 빠진 부품을 직접 메울 서빙 계층이 필요합니다. 병목이 이식성이라면 llama.cpp입니다. 노트북, 데스크톱, 소형 서버를 한 런타임으로 돌리고 빠르게 움직이는 업스트림을 따라갈 준비가 있을 때입니다.
직접 확인하는 방법
이번 릴리스 노트는 유난히 자세해서 검증할 수 있습니다. 250 GB 다운로드에 하루를 쓰기 전에 10분 동안 다음을 고정하세요.
| # | 고정할 것 | 이유 |
|---|---|---|
| 1 | 체크포인트와 양자화 | “V4.1-Flash”로는 부족합니다. V4.1-Flash-1017과 정확한 빌드(IQ2_XXS, IQ2_XS, IQ1_M)를 고정하세요. |
| 2 | 런타임과 파일 배치 | Strata, mainline llama.cpp, 아니면 포크인가? Engram은 별도 파일인가 내장인가? 다운로드가 쓸모 있는지를 결정합니다. |
| 3 | Reasoning effort와 컨텍스트 | ISTA 벤치마크는 reasoning effort 50, Strata의 확인된 컨텍스트는 8K입니다. 기본값은 다를 수 있습니다. |
| 4 | RAM과 저장 공간. VRAM만 아님 | 12 GB VRAM은 헤드라인입니다. 46–64 GB RAM과 239–274 GB 저장 공간이 실제 관문입니다. |
| 5 | 내 작업 구성 | 산문, 코드, 도구 호출, 다국어 샘플을 돌려 보세요. 포화된 AIME 점수는 계약 조항을 어떻게 쓰는지 알려주지 않습니다. |
| 6 | 내 컨텍스트 길이에서의 decode 속도 | 8K의 tokens/s는 2K와 같지 않습니다. 프롬프트 처리는 별도 수치이며 섞으면 안 됩니다. |
| 7 | 비교 기준 | API나 클러스터와 같은 작업, 같은 SLO에서 비교하세요. 로컬 tok/s와 클러스터 차트는 같은 작업 단위가 아닙니다. |
하나만 한다면 2번을 하세요. 이 릴리스에서 가장 비싼 실수는 올바른 모델에 잘못된 런타임을 골라 다운로드하는 것입니다.
자주 묻는 질문
DeepSeek-V4.1-Flash가 정말 12 GB GPU에서 실행되나요?
ISTA-DASLab과 Strata에 따르면 실행됩니다. 다만 12 GB는 VRAM 하한일 뿐입니다. 문서화된 구성에는 약 46–64 GB 시스템 메모리, 빌드 하나당 239–274 GB 저장 공간, NVMe 드라이브가 필요합니다. 모델은 RAM과 SSD에서 스트리밍되며 VRAM에 전부 들어가지 않습니다. 프로젝트는 테스트한 12 GB GPU에서 약 4–11 tokens/s라고 보고합니다.
GSQ-RCO는 새 모델인가요?
아닙니다. 공개된 DeepSeek-V4.1-Flash-1017 체크포인트에 적용한 비균일 GGUF 양자화입니다. 양자화 가중치는 베이스 모델의 MIT 라이선스를 따르고, GSQ와 RCO 참조 코드는 Apache-2.0입니다. 릴리스에는 IQ1_M 1.75 bits per weight, IQ2_XXS 2.00, IQ2_XS 2.25 세 빌드가 포함됩니다.
llama.cpp가 이제 이 GGUF들을 지원하나요?
llama.cpp는 2026년 10월 25일 V4.1-Flash 아키텍처 지원을 병합했고 10월 26일 후속 수정도 병합했습니다. 하지만 그것만으로 ISTA-DASLab 패키지가 mainline llama.cpp에서 로드되지는 않습니다. 이 패키지는 Engram 테이블을 110.6 GB 별도 파일로 배포하고, 업스트림 변환기는 Engram을 모델 GGUF에 넣습니다. 다운로드 전에 파일 배치와 모델 카드의 런타임 설명을 확인하세요.
DeepInfer를 대체하나요?
아닙니다. DeepInfer는 SM100과 Ascend 950을 위한 오프라인 클러스터 엔진이고, 이것은 단일 사용자 로컬 런타임입니다. DeepInfer에는 KV 캐시, prefill/decode 분리, 레플리카 부하 분산이 없고, DeepSeek는 최소 효율적 생산 단위를 prefill 64 + decode 64 GPU라고 말합니다. 로컬 스택은 접근과 실험을 위한 것이지 다수를 서빙하기 위한 것이 아닙니다.
어떤 빌드를 골라야 하나요?
ISTA-DASLab은 IQ2_XXS 2.00 bits per weight를 권장합니다. 보고된 세 벤치마크에서 베이스와 같고 IQ2_XS보다 약 17 GB 작기 때문입니다. 저장 공간이 있고 측정된 perplexity 증가를 가장 낮추고 싶다면 IQ2_XS를 고르세요. 저장 공간이나 RAM이 빠듯하고 측정 가능한 저하(특히 산문과 문서)를 받아들일 수 있을 때만 IQ1_M을 고르세요.
실제로 얼마나 빠른가요?
Strata 보고에 따르면 RTX 5070 12 GB + 64 GB RAM에서 약 4–6 tokens/s, RTX 3060 12 GB + 46 GB RAM에서 약 9–11, Radeon AI PRO R9700 한 장에서 약 21–25, R9700 네 장에서 약 74–77입니다. 프로젝트 측정이며 독립 벤치마크가 아니고 빌드, 컨텍스트, 저장 장치에 따라 달라집니다. 프롬프트 처리는 생성보다 훨씬 빠르며 따로 측정해야 합니다.
출처
- ISTA-DASLab “DeepSeek-V4.1-Flash-1017 · GSQ-RCO GGUFs”: 빌드, 크기, 벤치마크, 양자화 절차, 런타임 설명. 2026-10-26 확인.
- IST-DASLab/GSQ와 IST-DASLab/RCO: 참조 코드, Apache-2.0.
- Strata와 DeepSeek V4.1 문서: MIT 라이선스, 요구 사항, 속도·품질 측정.
- Strata 릴리스: v0.2.4(10-24), v0.2.5와 v0.2.6(10-25).
- llama.cpp PR #31086과 PR #31137: 아키텍처 지원과 후속 수정.
- llama.cpp
conversion/deepseek41.py: 업스트림 변환기의 Engram 처리. - DeepInfer 저장소와 배포 Q&A: 범위, 하드웨어, 빠진 구성 요소, 64+64 GPU 단위.
- DeepSeek-V4.1-Flash-1017 모델 카드: 763.2B 파라미터, 384 experts, 1M 컨텍스트, MIT 가중치.
모든 출처의 접근 날짜: 2026-10-26. 벤더와 프로젝트 수치는 본문에서 따로 표시했습니다. 이 빌드들에 대한 독립 벤치마크는 찾지 못했습니다.