[Hacker News 요약] DeepSeek, 대규모 서비스 지원 추론 엔진 DeepInfer 오픈소스 공개
30
설명
DeepSeek-AI가 대규모 언어 모델(LLM) 추론을 위한 고성능 프레임워크인 DeepInfer를 오픈소스로 공개했습니다.
이 프레임워크는 DeepSeek 모델의 프로덕션 환경에서의 대규모 서비스 운영을 지원하며, 핵심 기능들을 포함하고 있습니다.
DeepInfer는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU를 지원하며, Apache 2.0 라이선스로 배포됩니다.
### 배경 설명
최근 LLM의 발전은 모델 자체의 성능 향상을 넘어, 이를 실제 서비스에 효율적으로 배포하고 운영하는 추론(inference) 기술의 중요성을 부각시키고 있습니다. 대규모 언어 모델은 방대한 연산량을 요구하기 때문에, 낮은 지연 시간(latency)과 높은 처리량(throughput)을 달성하는 것이 서비스 품질과 비용 효율성에 직결됩니다. DeepSeek-AI는 자체적으로 개발한 LLM들을 대규모 서비스에 적용해왔으며, 이러한 경험을 바탕으로 개발된 추론 엔진 DeepInfer를 오픈소스로 공개함으로써 LLM 커뮤니티의 추론 성능 향상에 기여하고자 합니다. DeepInfer는 특히 DeepSeek-V4.1-Flash와 같은 모델에 최적화되어 있으며, 복잡한 병렬 처리 기법과 최적화된 커널을 활용하여 효율적인 추론을 가능하게 합니다. 이는 LLM을 서비스하려는 개발자 및 기업들에게 자체 인프라 구축 및 운영 부담을 줄여주는 동시에, 더 나은 성능을 경험할 기회를 제공합니다.
### DeepInfer의 핵심 기능 및 지원 모델
DeepInfer는 대규모 추론 서비스를 위한 핵심 기능들을 제공합니다. 여기에는 최적화된 커널(FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect 등)과 모델 및 샘플러 런타임이 포함됩니다. 또한, 어텐션 DP/균형 CP, MoE EP + EPLB와 같은 다양한 병렬 처리 기법을 지원하여 여러 GPU 또는 NPU에 걸쳐 효율적인 연산을 수행합니다. DSpark와 confidence-scheduled verification은 디코딩 속도를 높이고, SWA bounded replay는 디코더의 사전 계산(prefill) 작업을 줄여줍니다. 비동기 스케줄링은 CPU 배치 스케줄링과 장치 실행을 오버랩하여 제로 오버헤드 배치를 가능하게 하며, 배치 불변 추론(batch-invariant inference)은 배치 구성에 관계없이 동일한 모델 결과를 보장합니다. 결정론적 샘플링은 동일한 입력 토큰과 샘플링 매개변수에 대해 일관된 출력을 생성합니다. 또한, 정규 표현식, JSON 스키마, EBNF 문법을 활용한 구조화된 출력 생성 기능도 지원합니다. 현재 DeepSeek-V4.1-Flash 모델을 지원하며, 향후 더 많은 모델로 확장될 가능성이 있습니다.
### 지원 하드웨어 및 구축 요구사항
DeepInfer는 NVIDIA SM100 GPU와 Huawei Ascend 950 NPU를 지원합니다. 이를 통해 다양한 하드웨어 환경에서 유연하게 추론 서비스를 구축할 수 있습니다. 완전한 추론 서비스를 위해서는 KV 캐시 시스템, VE/Prefill/Decode 분리(대부분의 엔진 기능은 이미 구현됨), 그리고 데이터 병렬 복제본 간의 로드 밸런싱이 필요합니다. 구축을 위해서는 Linux 환경, GCC 13.0 이상, Python 3.12, CUDA 13(NVIDIA) 또는 CANN 9.2(Ascend)가 요구됩니다. 소스 코드 빌드는 Python 3.12 가상 환경에서 `build.sh` 스크립트를 실행하여 진행할 수 있으며, `DEEPINFER_ACCELERATOR` 환경 변수를 통해 사용할 하드웨어를 지정합니다. 오프라인 추론 예제는 `examples/offline_inference.py`를 통해 확인할 수 있으며, Hugging Face 캐시 또는 로컬 경로에서 모델 체크포인트를 로드할 수 있습니다.
### 성능 벤치마크 및 기존 프레임워크와의 관계
DeepInfer는 사전 계산(prefill) 및 디코딩(decode) 성능에 대한 벤치마크 결과를 공개했습니다. 벤치마크는 4개의 SM100 GPU(prefill)와 64개의 SM100 GPU(decode)를 사용하여 측정되었으며, 이는 단일 스케일업 도메인 내에서 이루어졌습니다. 이러한 성능 수치는 대규모 LLM 서비스 운영 시 중요한 지표가 됩니다. DeepInfer는 vLLM, SGLang, TensorRT-LLM과 같은 기존의 인기 있는 추론 프레임워크에서 영감을 받아 개발되었습니다. 특히 vLLM과의 연관성이 강조되며, 이러한 기존 프레임워크들의 장점을 통합하고 DeepSeek 모델에 최적화된 기능을 추가하여 성능을 극대화하려는 시도로 볼 수 있습니다. 이는 LLM 추론 프레임워크 생태계 내에서 경쟁과 협력을 촉진할 것으로 예상됩니다.
### 가치와 인사이트
DeepSeek-AI가 DeepInfer를 오픈소스로 공개한 것은 LLM 추론 분야에 상당한 가치를 더합니다. 첫째, 고성능 추론 엔진에 대한 접근성을 높여, 연구자 및 개발자들이 자체적으로 복잡한 추론 인프라를 구축하는 데 드는 시간과 비용을 절감할 수 있습니다. 둘째, DeepSeek 모델뿐만 아니라 다른 LLM에도 적용될 수 있는 최적화된 커널과 병렬 처리 기법은 LLM 서비스의 전반적인 성능 향상에 기여할 것입니다. 셋째, 실제 프로덕션 환경에서 검증된 기술을 공개함으로써, LLM 서비스의 안정성과 확장성에 대한 신뢰도를 높입니다. 이는 특히 스타트업이나 자원이 제한적인 조직에게 LLM 기반 서비스를 개발하고 배포하는 데 있어 중요한 이점을 제공합니다. 또한, 오픈소스 커뮤니티의 참여를 통해 프레임워크의 지속적인 개선과 새로운 기능 개발이 가속화될 수 있습니다.
### 기술·메타
- 언어: C++, Python
- 라이선스: Apache 2.0
- 지원 모델: DeepSeek-V4.1-Flash
- 지원 하드웨어: NVIDIA SM100 GPU, Huawei Ascend 950 NPU
- 기반 프레임워크: vLLM (영감)
### 향후 전망
DeepInfer의 오픈소스 공개는 LLM 추론 엔진 시장에 새로운 활력을 불어넣을 것으로 예상됩니다. 향후 DeepSeek-AI는 DeepInfer에 대한 지속적인 업데이트를 통해 더 많은 모델 아키텍처를 지원하고, 최신 하드웨어 기술과의 호환성을 강화할 것입니다. 또한, 커뮤니티의 피드백을 반영하여 기능 개선 및 버그 수정을 진행할 것으로 보입니다. 경쟁 측면에서는 vLLM, TensorRT-LLM 등 기존 강자들과의 기술 경쟁이 심화될 것이며, 이는 결국 LLM 추론 성능의 전반적인 향상으로 이어질 것입니다. DeepInfer가 얼마나 많은 개발자 커뮤니티의 지지를 얻고, 실제 서비스에 성공적으로 적용되는지가 향후 이 프레임워크의 성공을 좌우할 중요한 변수가 될 것입니다. 특히, 다양한 하드웨어 플랫폼에서의 최적화 및 사용자 친화적인 인터페이스 제공이 중요해질 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=50163277)
- 원문: [링크 열기](https://github.com/deepseek-ai/DeepInfer)
---
출처: Hacker News · [원문 링크](https://github.com/deepseek-ai/DeepInfer)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.