[Hacker News 요약] 독일 컨소시엄, 벤치마크 상위권 차지한 오픈소스 30B 모델 'Soofi S' 공개
0
설명
독일 연구 컨소시엄이 300억 개의 매개변수를 가진 오픈소스 언어 모델 'Soofi S'를 공개했습니다. 이 모델은 독일어 및 영어 벤치마크에서 기존 오픈 모델들을 능가하는 성능을 보였습니다. 특히, Deutsche Telekom의 AI 클라우드 인프라에서 훈련되었으며, 효율적인 하이브리드 아키텍처를 특징으로 합니다.
### 배경 설명
최근 몇 년간 대규모 언어 모델(LLM)의 발전은 인공지능 분야의 핵심 동력이 되어왔습니다. 특히, 오픈소스 모델의 등장은 연구 및 개발 커뮤니티에 큰 활력을 불어넣으며, 기술 접근성을 높이고 혁신을 가속화하는 데 기여해왔습니다. 이러한 흐름 속에서 유럽, 특히 독일은 자체적인 AI 역량 강화와 데이터 주권 확보를 위한 노력을 기울이고 있습니다. Soofi S 모델의 등장은 이러한 유럽의 AI 전략과 맥을 같이하며, 독일어 데이터에 대한 깊은 이해와 최적화된 성능을 목표로 합니다. 기존의 LLM들이 주로 영어 데이터에 편중되어 개발되었던 것과 달리, Soofi S는 독일어 데이터에 대한 집중적인 훈련을 통해 해당 언어권에서의 성능을 극대화하려는 시도를 보여줍니다. 이는 특정 언어 및 문화권에 특화된 AI 모델 개발의 중요성을 시사합니다. 또한, Deutsche Telekom의 자체 AI 클라우드 인프라를 활용한 훈련은 클라우드 기술의 발전과 함께 AI 모델 개발의 새로운 가능성을 제시합니다. 이 모델은 2026년 7월 13일에 처음 공개되었으며, 이후 7월 15일에는 '과잉 훈련(overtraining)'에 대한 논란에 대한 업데이트가 있었습니다.
### Soofi S 모델의 기술적 특징
Soofi S는 총 316억 개의 매개변수를 가지지만, 토큰당 약 32억 개의 매개변수만 활성화하는 하이브리드 Mamba-Transformer 아키텍처를 사용합니다. 이는 30억 개 매개변수 모델에 가까운 컴퓨팅 비용으로 300억 개 매개변수 모델의 성능을 구현할 수 있게 합니다. 특히, 긴 컨텍스트 길이에서도 처리 속도 저하가 거의 없다는 장점을 가집니다. 이는 기존 트랜스포머 모델에서 KV 캐시 증가로 인한 병목 현상을 완화하는 데 기여하며, 4,000에서 256,000 토큰 범위에서 거의 일정한 처리량을 유지합니다. 이는 Alibaba의 Qwen3.5 35B-A3B 모델과 유사한 성능을 보입니다. Nvidia의 Nemotron 3 Nano 아키텍처를 기반으로 하며, Mamba-2 레이어와 표준 어텐션 레이어를 결합한 형태입니다. 훈련은 2026년 3월부터 5월까지 Deutsche Telekom의 뮌헨 AI 클라우드에서 512개의 Nvidia B200 GPU를 사용하여 약 253,000 GPU 시간을 투입하여 진행되었습니다.
### 독일어 데이터 중심의 훈련 및 성능 평가
Soofi S는 약 27조 개의 토큰으로 훈련되었으며, 훈련 데이터 믹스는 고품질 소스와 독일어 데이터의 비중을 점진적으로 늘리는 방식으로 구성되었습니다. 첫 번째 단계에서는 전체 훈련 데이터의 7.2%가 독일어였으나, 두 번째 단계에서는 15.3%로 증가했습니다. 이는 Nvidia의 Nemotron 레시피에서 비영어권 언어의 비중이 약 5%인 것과 비교하면 상당히 높은 수치입니다. 이러한 독일어 중심의 훈련 덕분에 Soofi S는 독일어 및 영어 벤치마크에서 기존의 오픈 모델인 OLMo 3 32B, Apertus 70B 등을 능가하는 성능을 기록했습니다. 특히, 독일어 관련 벤치마크에서는 두 자릿수 이상의 격차로 앞서는 경우도 있었습니다. 코딩 관련 벤치마크에서도 HumanEval 73.8%, MBPP 70.2%, 독일어 MBPP 84.2%의 높은 점수를 기록했습니다. INCLUDE-DE (독일 지역 지식 테스트)에서는 Qwen3.5 35B-A3B와 함께 공동 1위를 차지했습니다.
### 과잉 훈련 논란과 반박
모델 공개 후, 일부 비평가들은 Soofi S가 Google DeepMind가 2022년에 발표한 Chinchilla 스케일링 법칙에 비해 '과잉 훈련'되었다고 주장했습니다. Chinchilla 법칙은 고정된 컴퓨팅 예산에서 모델 크기와 훈련 데이터의 균형을 맞추는 방법을 제시하며, 매개변수당 약 20개의 토큰을 최적점으로 보았습니다. Soofi S는 약 27조 개의 토큰과 300억 개의 매개변수를 사용하여 이 비율을 훨씬 초과합니다. 그러나 프로젝트의 기술 리더 중 한 명인 Michael Fromm은 이러한 비판에 대해 Mixture-of-Experts (MoE) 아키텍처에는 기존의 스케일링 법칙이 그대로 적용되지 않는다고 반박했습니다. 그는 MoE 모델에서는 개별 전문가들이 동일한 문서를 학습하는 것이 유리하므로, 대규모 고품질 데이터셋에서 반복되는 데이터가 밀집 모델(dense models)에서보다 문제가 덜하다고 설명했습니다. 또한, Nvidia 역시 자체 모델을 최대 25조 개의 토큰으로 훈련시킨 사례를 언급하며 이러한 주장을 뒷받침했습니다.
### 가치와 인사이트
Soofi S의 출시는 유럽, 특히 독일의 AI 주권 강화 노력에 중요한 이정표를 세웠습니다. Deutsche Telekom의 자체 클라우드 인프라를 활용하고 독일어 데이터에 집중한 점은 특정 언어 및 지역에 특화된 고성능 AI 모델 개발의 가능성을 보여줍니다. 이는 다국어 모델이 지배적인 현재 LLM 시장에서 중요한 차별화 포인트가 될 수 있습니다. 또한, 하이브리드 아키텍처를 통해 효율성을 높인 점은 컴퓨팅 자원이 제한적인 환경에서도 고성능 모델을 활용할 수 있는 길을 열어줍니다. 비평가들의 '과잉 훈련' 논란과 이에 대한 반박은 LLM 훈련의 최적화에 대한 지속적인 연구와 논의가 필요함을 시사하며, 특히 MoE와 같은 새로운 아키텍처에 대한 스케일링 법칙의 재정의 필요성을 제기합니다.
### 기술·메타
- 아키텍처: Mamba-Transformer 하이브리드 (Mamba-2 레이어 + 표준 어텐션 레이어)
- 모델 크기: 31.6B 파라미터 (토큰당 3.2B 활성화)
- 훈련 데이터: 약 27T 토큰 (독일어 데이터 비중 높음)
- 훈련 인프라: Deutsche Telekom Industrial AI Cloud (Nvidia B200 GPU 사용)
- 공개일: 2026년 7월 13일 (업데이트 2026년 7월 15일)
### 향후 전망
Soofi S는 유럽 오픈소스 AI 모델 패밀리의 일부로 개발될 예정이며, 향후 산업 애플리케이션에서의 테스트를 위해 산업 파트너를 물색하고 있습니다. 기술 문서, 코드 생성, 에이전트 기반 시스템 등 다양한 분야에서의 활용 가능성이 기대됩니다. 경쟁 측면에서는 이미 Apertus 70B, OLMo 3 32B와 같은 기존 오픈 모델들을 능가하는 성능을 보여주었으며, 향후 더 발전된 모델들이 등장할 것으로 예상됩니다. 특히, 유럽 연합의 데이터 주권 및 AI 규제 강화 움직임 속에서 Soofi S와 같은 자체 개발 모델의 중요성은 더욱 커질 수 있습니다. 다만, 독일어 경쟁 수학이나 자연 질문에서의 성능 저하와 같은 특정 약점은 향후 모델 개선 과정에서 보완되어야 할 부분입니다. 또한, 32,000 토큰 이상의 컨텍스트에서 추출 작업 시 성능 저하 문제는 장기 컨텍스트 처리 능력 향상을 위한 추가 연구가 필요함을 보여줍니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=48937756)
- 원문: [링크 열기](https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german/)
---
출처: Hacker News · [원문 링크](https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german/)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.