[Techmeme 요약] 마이크로소프트, 2.8조 개 매개변수 MoE 모델 'MAI-Base-2' 공개... 학습 효율 4~12배 향상
23
설명
마이크로소프트 AI 팀이 2.8조 개의 총 매개변수와 800억 개의 활성 매개변수를 가진 새로운 대규모 언어 모델(LLM)인 MAI-Base-2를 공개했습니다. 이 모델은 기존 모델 대비 4배에서 12배 향상된 사전 학습(pre-training) 계산 효율성을 자랑합니다.
MAI-Base-2는 최첨단 기술을 활용하여 개발되었으며, 특히 효율적인 학습 방법론과 모델-인프라 공동 설계를 통해 이러한 성과를 달성했습니다.
이번 발표는 AI 모델 개발 경쟁에서 마이크로소프트의 기술력을 다시 한번 입증하며, 향후 AI 산업 전반에 큰 영향을 미칠 것으로 예상됩니다.
### 배경 설명
최근 몇 년간 인공지능(AI) 분야, 특히 대규모 언어 모델(LLM)의 발전은 눈부십니다. 이러한 모델들은 방대한 양의 텍스트 데이터를 학습하여 인간과 유사한 수준의 언어 이해 및 생성 능력을 보여줍니다. 하지만 모델의 크기가 커질수록 학습에 필요한 계산 자원(compute)과 시간은 기하급수적으로 증가하는 문제가 있었습니다.
마이크로소프트는 이러한 문제를 해결하기 위해 '효율성 증대(Efficiency Gain, EG)'라는 지표를 도입하고, 모델 설계와 인프라 구축을 동시에 최적화하는 전략을 취했습니다. MAI-Base-2는 이러한 노력의 결과물로, 기존 모델 대비 훨씬 적은 계산 자원으로도 높은 성능을 달성하는 것을 목표로 합니다.
특히, MAI-Base-2는 '다중 전문가 모델(Mixture-of-Experts, MoE)' 아키텍처를 채택했습니다. MoE 모델은 여러 개의 작은 신경망(전문가)을 활용하여 입력 데이터의 특성에 따라 적절한 전문가를 선택적으로 활성화하는 방식으로, 모델의 크기를 늘리면서도 계산 효율성을 높일 수 있는 장점이 있습니다. 마이크로소프트는 2026년 8월부터 9월까지 38일간 16,000개의 GB200 GPU를 사용하여 MAI-Base-2를 사전 학습시켰으며, 평균 모델 FLOPs 활용도(MFU)는 21%, 학습 진행률(goodput)은 89%를 기록했습니다.
### MAI-Base-2: 더 크고 효율적인 모델
MAI-Base-2는 총 2.8조 개의 매개변수와 800억 개의 활성 매개변수를 가진 MoE(다중 전문가 모델) 기반의 파운데이션 모델입니다. 이는 이전 모델인 MAI-Base-1보다 훨씬 크며, 테스트된 모든 오픈 가중치(open-weight) 모델보다 뛰어난 성능을 보였습니다. 특히, DeepSeek-V4-Pro-Base와 같은 강력한 오픈 가중치 모델 대비 4배에서 12배 높은 사전 학습 FLOPs(Floating Point Operations Per Second) 효율성을 달성했습니다. 이는 학습에 필요한 계산량을 크게 줄이면서도 더 큰 모델을 훈련할 수 있게 해주었습니다.
마이크로소프트는 이러한 효율성 향상을 모델 파이프라인의 자체적인 통제, 증류(distillation) 없이 유기적인 데이터만을 사용한 학습, 그리고 모델과 인프라의 공동 설계를 통해 이루어냈다고 밝혔습니다. 이러한 자체적인 모델 개발 능력은 고객에게 차별화된 AI 솔루션을 제공하는 기반이 될 것입니다.
### 효율적인 학습을 위한 기술적 혁신
MAI-Base-2의 성공적인 사전 학습에는 세 가지 주요 혁신이 있었습니다. 첫째, '확장 과학(Scaling science)'으로, 반복되는 학습 데이터를 고려한 확장 사다리(scaling ladders)와 경험적 하이퍼파라미터(hyperparameter) 확장 법칙을 적용했습니다. 둘째, '모델-인프라 공동 설계(Model-infrastructure co-design)'로, MoE 및 Muon 구현 개선과 활성화 기울기 클리핑(activation gradient clipping)을 통해 학습 안정성과 효율성을 높였습니다. 셋째, '확장 데이터(Scaling data)'로, 데이터 파이프라인을 확장하고 비전 데이터를 통합하여 모델 학습에 필요한 데이터의 양과 질을 향상시켰습니다.
특히, MoE 레이어의 효율성을 높이기 위해 동적 라우팅(dynamic routing)으로 인한 메모리 단편화 및 전문가 간의 불균형 문제를 해결하고, 각 전문가의 오버헤드를 줄였습니다. 또한, Muon 옵티마이저(optimizer)를 사용하여 학습 동적성을 개선하고 AdamW 대비 효율성을 높였습니다. 이러한 기술적 진보는 2026년 8월부터 9월까지 38일간 16,000개의 GB200 GPU를 사용하여 MAI-Base-2를 학습시키는 데 기여했습니다.
### 데이터 품질과 비전 능력 강화
MAI-Base-2는 MAI-Base-1과 동일한 데이터 원칙을 따르며, 자체적인 데이터 파이프라인을 통해 유기적인 데이터를 확보하고 학습했습니다. 학습 데이터는 이전 모델 대비 약 36% 증가했으며, 품질 분류, 주제 분류, 웹 파싱, 중복 제거, 평가 데이터 오염 제거 등 전반적인 데이터 처리 과정을 개선했습니다. 특히, 2026년 3월까지의 웹 콘텐츠를 포함하여 학습 데이터 양을 크게 늘렸으며, 임베딩 기반 다양성 샘플링(embedding-based diversity sampling)을 통해 새로운 데이터를 우선적으로 처리하고 중복 데이터를 줄였습니다.
또한, MAI-Base-2는 이전 모델과 달리 네이티브 비전(native vision) 기능을 갖춘 인코더 없는 VLM(Vision-Language Model) 아키텍처를 사용합니다. 이를 위해 이미지-텍스트 쌍, 텍스트와 이미지가 혼합된 문서 등 VLM 코퍼스(corpus)를 대폭 확장했습니다. 이 코퍼스는 웹 이미지 캡셔닝, 차트 이해, 시각적 근거 찾기, 공간 추론, 의료 정보 이해 등 다양한 작업에 활용될 수 있습니다. 총 4.5조 개의 고유 토큰으로 구성된 VLM 데이터는 전체 학습 데이터의 18%를 차지했습니다.
### 가치와 인사이트
마이크로소프트의 MAI-Base-2 모델 공개는 AI 모델 개발에서 '효율성'과 '확장성'의 중요성을 다시 한번 강조합니다. 2.8조 개라는 방대한 매개변수에도 불구하고 4~12배 향상된 학습 효율성을 달성했다는 점은, 단순히 모델 크기를 늘리는 것을 넘어선 최적화된 학습 방법론과 인프라 설계의 중요성을 시사합니다. 자체적인 데이터 파이프라인 구축과 비전 기능 통합은 마이크로소프트가 AI 분야에서 경쟁 우위를 유지하고, 다양한 산업 분야에 적용 가능한 AI 솔루션을 제공할 수 있는 잠재력을 보여줍니다.
### 기술·메타
- 모델 아키텍처: 다중 전문가 모델(Mixture-of-Experts, MoE)
- 학습 효율성 지표: EG FLOPs, EG time
- 학습 프레임워크: Muon, AdamW
- GPU: GB200
- 데이터 처리: 자체 웹 크롤러, 임베딩 기반 다양성 샘플링, 비전-언어 모델(VLM) 코퍼스
- 기술: 활성화 기울기 클리핑(Activation Gradient Clipping), 모델-인프라 공동 설계
### 향후 전망
MAI-Base-2의 등장은 AI 모델 개발의 새로운 기준을 제시할 것으로 보입니다. 앞으로 더 크고 효율적인 모델들이 등장하며, AI 기술은 더욱 다양한 분야로 확산될 것입니다. 특히, 비전-언어 통합 모델의 발전은 이미지, 비디오 등 시각 정보를 이해하고 활용하는 AI 서비스의 혁신을 가져올 것입니다.
또한, 마이크로소프트가 강조한 '모델-인프라 공동 설계'는 AI 개발의 필수 요소가 될 것입니다. 효율적인 학습 및 추론을 위한 하드웨어 및 소프트웨어 최적화는 AI 모델의 상용화와 접근성을 높이는 데 중요한 역할을 할 것입니다. 이는 AI 기술이 연구실을 넘어 실제 산업과 일상생활에 더욱 깊숙이 통합되는 미래를 앞당길 것입니다. 마이크로소프트는 이러한 기술을 바탕으로 자사 제품뿐만 아니라 파트너사에게도 고품질 AI 솔루션을 제공하며 시장을 선도할 것으로 기대됩니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/261015/p59#a261015p59)
- 원문 기사: [링크 열기](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/)
---
출처: Techmeme ([Original Article](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.