[Lobsters 요약] MiMo-V2.5 시리즈의 하이브리드 SWA 효율성을 극대화하는 전체 파이프라인 추론 최적화
0
설명
MiMo-V2.5 및 MiMo-V2.5-Pro 모델 시리즈는 하이브리드 슬라이딩 윈도우 어텐션(Hybrid SWA)과 희소 MoE(Mixture-of-Experts) 아키텍처를 결합하여 긴 컨텍스트 추론 및 멀티모달 시나리오에서 효율성을 극대화합니다.
이 글은 2026년 5월 30일에 발표된 연구에서 MiMo-V2.5 시리즈의 추론 시스템을 위한 엔드투엔드 엔지니어링 실천 사례를 상세히 설명합니다.
KVCache 관리, 계층적 캐싱 시스템, SWA 인식 프리픽스 캐시 트리, 스케줄링 전략, Prefill/Decode 실행 파이프라인, 멀티모달 최적화 등을 통해 아키텍처의 이론적 효율성 잠재력을 실현합니다.
### 배경 설명
대규모 언어 모델(LLM)의 발전은 긴 컨텍스트를 이해하고 처리하는 능력에 크게 의존합니다. 전통적인 전체 어텐션(Full Attention) 메커니즘은 컨텍스트 길이가 길어질수록 계산량과 KVCache 오버헤드가 기하급수적으로 증가하여, 긴 컨텍스트 추론 및 학습을 비효율적으로 만듭니다. 이러한 문제를 해결하기 위해 MiMo-V2.5 시리즈는 하이브리드 슬라이딩 윈도우 어텐션(Hybrid SWA)을 도입했습니다. Hybrid SWA는 대부분의 레이어에서 지역적 슬라이딩 윈도우 어텐션(SWA)을, 일부 핵심 레이어에서는 전역적 전체 어텐션을 사용하여 계산 복잡도를 선형에 가깝게 줄이면서도 장거리 의존성을 모델링할 수 있도록 설계되었습니다. 또한, 희소 MoE 아키텍처는 토큰당 계산량을 줄이면서 모델 용량을 유지하고, 멀티모달 인코더는 시각, 오디오, 비디오 간의 상호 이해를 가능하게 합니다. 이러한 설계는 MiMo-V2.5 시리즈가 긴 컨텍스트 및 멀티모달 시나리오에서 뛰어난 성능과 효율성을 달성할 수 있는 잠재력을 제공합니다. 그러나 이론적인 아키텍처의 장점이 실제 프로덕션 환경에서의 효율성으로 직결되는 것은 아닙니다. Hybrid SWA는 KVCache 히트율 관리, 프리픽스 매칭, 이중 의미론적 일관성 유지 등 새로운 엔지니어링 복잡성을 야기합니다. 데이터 이동, 비동기 프리페치 및 스케줄링의 비정렬, 분산 캐시 상태 동기화의 어려움과 같은 추가적인 도전 과제들이 존재합니다. 따라서 MiMo-V2.5 시리즈의 잠재력을 최대한 발휘하기 위해서는 이러한 엔지니어링 과제들을 해결하기 위한 포괄적인 최적화 전략이 필수적입니다.
### 1. 하이브리드 SWA의 추론 효율성 이점
하이브리드 SWA는 MiMo-V2.5 시리즈의 설계 핵심으로, 계산량과 KVCache 저장 공간 측면에서 상당한 효율성 향상을 제공합니다. MiMo-V2.5-Pro 모델의 경우, 70개의 레이어 중 10개만 전체 어텐션을 사용하고 나머지 60개 레이어는 슬라이딩 윈도우 크기 128의 SWA를 사용합니다. 이는 전체 어텐션 대비 약 1/7의 계산 비용으로, 특히 계산 집약적인 프리필(Prefill) 단계에서 성능 향상으로 직결됩니다. KVCache 저장 공간 측면에서도 SWA 레이어는 전체 시퀀스가 아닌 슬라이딩 윈도우 내의 KV만 저장하므로, KVCache 메모리 사용량이 약 1/7로 감소합니다. 디코드(Decode) 단계는 주로 메모리 집약적이므로, KVCache 저장 공간 감소는 긴 시퀀스에서의 디코드 비용 감소로 거의 직접적으로 이어집니다. MiMo-V2.5 시리즈는 KVCache 효율성 측면에서 DeepSeek-V4-Pro 및 DeepSeek-V4-Flash에 이어 두 번째로 높은 효율성을 보입니다. 실제 비용 차이는 KVCache 크기 비율과 엄격하게 일치하지는 않지만, 긴 컨텍스트 시나리오에서는 시퀀스 길이가 길수록 추론 비용 이점이 커지는 경향이 뚜렷합니다.
### 2. KVCache 시스템 리팩토링 및 최적화
MiMo-V2 및 MiMo-V2.5 시리즈는 Hybrid SWA 아키텍처를 조기에 채택했지만, 당시 주류 오픈소스 추론 프레임워크는 SWA를 완벽하게 지원하지 않았습니다. 이에 따라 SGLang v0.5.5를 백엔드로 사용하면서 HiCache의 SWA 미지원 문제를 해결하기 위해 KVCache 시스템을 근본적으로 재설계했습니다. 핵심은 SWA의 O(W) 저장 공간 제약을 활용하기 위해 KVCache를 Full Attention용 풀과 SWA용 풀로 분리하는 '듀얼 풀 디자인'입니다. 이를 통해 SWA KVCache는 시스템 레벨에서 엄격한 O(W) 저장 공간 제약을 달성하여 KVCache 용량 효율성을 약 7배 향상시켰습니다. 또한, 레이어별 KVCache 프리페치, SWA 인식 프리픽스 캐시 트리(SWA-Aware Prefix Cache Tree)를 통해 '토큰 동일성 → 히트' 규칙을 '윈도우 안전 길이'로 업그레이드하여 KV 재사용의 정확성과 효율성을 보장했습니다. 분산 환경에서의 캐시 일관성 문제 해결을 위해 디바이스-호스트 간 SWA 점유율 동기화, L3 프리픽스 캐시의 조기 방출 방지, 중단기 시퀀스 SWA 유지 전략 등을 적용하여 캐시 히트율을 크게 향상시켰습니다. L3 KVCache로 사용되는 GCache는 샤오미 스토리지 팀이 개발한 고성능 분산 캐시 인프라로, 파일 및 KV 시맨틱, 다중 레벨 캐싱, 공유 메모리 지속성, 제로 카피, 고동시성 비동기 IO 및 RDMA 통신을 지원하여 높은 처리량과 낮은 지연 시간을 제공합니다. GCache는 GPU 머신에 공동 배포되어 추가 스토리지 비용 없이 메모리 및 NVMe SSD를 활용하며, 분산 메타데이터 관리와 강력한 장애 처리 로직을 통해 높은 신뢰성을 보장합니다. 이러한 최적화를 통해 평균 93% 이상의 KVCache 히트율을 달성했습니다.
### 3. 스케줄링 및 Prefill/Decode 최적화
스케줄링 최적화는 KVCache 히트율과 TTFT(Time To First Token) 개선에 중점을 두었습니다. LLM-Router는 Redis를 중앙 집중식 스토리지로 사용하여 상태 비저장 스케줄러로 설계되어, 단일 서비스 장애 시에도 KVCache 저하 없이 높은 가용성을 보장합니다. KVCache 어피니티 스케줄링은 L2 캐시 히트율을 약 25% 향상시키고 노드당 입력 처리량을 약 30% 증가시켰습니다. TTFT 최적화를 위해 캐시 히트율이 높은 요청에 우선순위를 부여하는 전략을 사용했으며, 이는 TTFT P90을 최대 30% 감소시켰습니다. Prefill 단계에서는 Expert Parallelism(EP) 크기를 최적화하여 GPU 메모리 제약으로 인해 이전에는 더 큰 EP가 필요했지만, SWA KVCache 최적화 이후 EP 크기를 절반으로 줄여 엔드투엔드 성능을 약 40% 향상시켰습니다. 또한, 3단계 길이 버킷팅 전략(0–64K / 64K–256K / 256K–1M)을 도입하여 서로 다른 길이의 요청으로 인한 부하 불균형 문제를 완화하고 평균 프리필 처리량을 크게 개선했습니다. MoE 모델의 경우, 사전 학습 단계에서 이미 잘 균형 잡힌 전문가 라우팅 전략을 학습하여 별도의 런타임 전문가 부하 분산 전략은 현재 적용하지 않고 있습니다. NUMA 충돌 문제 해결을 위해 시스템 커널의 numa_balancing 파라미터를 비활성화하여 약 10%의 성능 향상을 얻었습니다. Decode 단계에서는 KVCache GPU 메모리 사용량 병목 현상을 완화하기 위해 SWA 지원, CPU 메모리로의 KVCache 사전 할당 이동, CUDA Graph 메모리 튜닝 등을 통해 KVCache 유효 용량을 약 5배 증가시켰습니다. 또한, 프리필 단계에서 MTP(Multi-Token Prediction)를 지원하도록 최적화하여 초기 디코드 속도를 2.3배까지 향상시켰습니다.
### 4. 멀티모달 추론 최적화
MiMo-V2.5 시리즈는 멀티모달 추론 성능 향상을 위해 SGLang v0.5.7 EPD(Encoder-Prefill-Decode) 설계를 기반으로 다양한 엔지니어링 최적화를 수행했습니다. 이를 통해 인코더 처리량을 두 배로 늘리면서도 지연 시간은 그대로 유지했습니다. 주요 최적화 내용은 다음과 같습니다. 멀티모달 임베딩 전송과 추론의 오버랩: 프리필 스케줄러의 메인 루프에서 멀티모달 임베딩 데이터의 비동기 복제를 지원하여 GPU 유휴 시간을 줄였습니다. 인코더에 대한 데이터 병렬성: 인코더 모델이 상대적으로 작기 때문에 TP(Tensor Parallelism) > 1 설정 시 성능이 저하되는 문제를 해결하기 위해 TP=1로 설정하고 데이터 병렬성을 지원했습니다. 인코더 크로스 요청 배치 지원: EPD 인코더 서버에 크로스 요청 배치를 도입하여, 여러 요청의 이미지/오디오를 단일 순방향 패스로 병합한 후 요청별로 결과를 분할하여 반환함으로써 낮은 GPU 활용률 문제를 해결했습니다. GPU 이미지 전처리: 대규모 이미지의 경우 CPU에서 수행되는 리사이즈, 정규화, 패치화 등의 전처리 작업을 GPU로 이관하여 CPU 병목 현상을 제거했습니다. 병렬 이미지 다운로드 및 디코딩: 멀티프로세스 다운로드와 PIL 디코딩을 사용하여 직렬 다운로드 및 GIL 경합으로 인한 지연을 방지했습니다. 병렬 비디오 디코딩: 1시간 분량의 비디오에 대한 인코더 지연 시간을 156초에서 23초로 단축했습니다. 멀티모달 캐시 최적화: 일관 해싱을 통해 동일한 키를 가진 요청을 동일한 인코더로 라우팅하여 캐시 히트율을 30% 향상시켰고, 동일 노드 내 여러 인코더 GPU 간 공유 메모리를 통해 임베딩 캐시 데이터를 공유하여 캐시 히트율을 높였습니다.
### 가치와 인사이트
MiMo-V2.5 시리즈의 추론 효율성은 단일 혁신이 아닌, 여러 차원에 걸친 조율된 최적화의 결과입니다. Hybrid SWA는 프리필과 디코드 모두에 이점을 제공하지만, KVCache 구현의 미흡함은 오히려 비용을 증가시킬 수 있습니다. 이를 해결하기 위해 KVCache 관리, 계층적 캐싱, 프리픽스 캐시 트리를 체계적으로 리팩토링하고, SWA 인식 KVCache의 핵심 과제를 해결했으며, 스케줄링 및 Prefill/Decode 파이프라인을 최적화했습니다. 모든 변경 사항은 프로덕션 환경에서 검증되었으며, 마침내 Hybrid SWA의 이론적 효율성 이점을 실현했습니다. 또한, MoE 구성 및 멀티모달 추론 파이프라인의 추가적인 최적화는 서빙 성능을 크게 향상시켰습니다. 본 연구는 Hybrid SWA + MoE + 멀티모달 복합 아키텍처를 포괄하는 최초의 대규모 엔지니어링 구현 사례를 제시하며, 이를 통해 얻은 비용 절감을 API 가격 인하를 통해 사용자에게 환원합니다. 또한, 최적화의 일부를 SGLang 오픈소스 커뮤니티에 PR 형태로 기여하여, 엔지니어링 최적화가 장벽이 되지 않도록 하여 고성능, 고효율 복합 아키텍처의 광범위한 탐색 및 채택을 촉진하고자 합니다.
### 향후 전망
MiMo-V2.5 시리즈의 성공적인 엔지니어링 최적화는 Hybrid SWA, MoE, 멀티모달 아키텍처의 결합이 실제 프로덕션 환경에서 높은 성능과 효율성을 달성할 수 있음을 입증했습니다. 향후에는 SWA의 KV 캐시 관리 로직을 지속적으로 개선하고, 더 많은 하네스 프레임워크와 협력하여 하네스-추론 공동 설계를 통해 캐시 히트율 상한선을 더욱 높일 계획입니다. 또한, MoE 구성의 추가적인 최적화 및 멀티모달 추론 파이프라인의 개선을 통해 서빙 성능을 더욱 향상시킬 수 있을 것으로 기대됩니다. 더 나아가, 파이프라인 병렬화(PP) 최적화를 통해 Hybrid SWA 구조에서 EP 크기를 더욱 줄이고 전반적인 처리량을 개선하는 연구도 진행될 것입니다. 더 세분화되고 유연한 길이 버킷팅 메커니즘을 탐색하여 동적인 프로덕션 워크로드에 적응하는 방안도 모색 중입니다. 이러한 지속적인 엔지니어링 노력은 LLM의 접근성을 높이고, 복잡한 모델 아키텍처의 실제 적용을 더욱 용이하게 만들 것입니다.
📝 원문 및 참고
- Source: Lobsters
- 토론(Lobsters): [lobste.rs](https://lobste.rs/s/srdtlp/full_pipeline_inference_optimization)
- 원문: [링크 열기](https://mimo.xiaomi.com/blog/mimo-v2-5-inference)
---
출처: Lobsters · [원문 링크](https://mimo.xiaomi.com/blog/mimo-v2-5-inference)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.