[GeekNews 요약] 블랙박스 LLM의 크기 추정, '기억하는 사실'로 파라미터 역산하는 새로운 방법론 제시
0
설명
최근 Moonshot AI의 Kimi K3가 2.8조 개 파라미터로 공개되며 오픈웨이트 모델의 규모가 급격히 성장하고 있습니다. GPT, Claude, Gemini와 같은 프론티어 모델의 정확한 크기는 공개되지 않아 추정의 어려움이 있었으나, 'Incompressible Knowledge Probes(IKP)'라는 새로운 기법이 등장했습니다. 이 방법론은 모델이 기억하는 사실의 양을 측정하여 블랙박스 LLM의 파라미터 규모를 역산하는 혁신적인 접근 방식을 제시합니다.
### 배경 설명
대규모 언어 모델(LLM)의 발전은 파라미터 수의 증가와 함께 비례해왔습니다. 특히 2024년 말 DeepSeek V3의 671B 파라미터 공개 이후, 2026년 8월 Moonshot AI의 Kimi K3가 2.8조 개 파라미터로 등장하며 오픈웨이트 모델 시장은 3조(T)급 시대를 열었습니다. 이러한 오픈웨이트 모델의 급격한 성장은 GPT, Claude, Gemini와 같은 최상위 프론티어 모델의 실제 규모에 대한 궁금증을 증폭시키고 있습니다. 과거에는 API 가격, 토큰 처리 속도, GPU 사용량 등 간접적인 지표를 통해 모델 크기를 추정하려는 시도가 있었으나, 이는 서비스 방식의 영향을 크게 받아 정확도가 떨어졌습니다. 따라서 모델 자체의 내재적 특성을 활용하여 크기를 추정하는 새로운 방법론의 필요성이 대두되었습니다. 'Incompressible Knowledge Probes(IKP)'는 이러한 배경 속에서 제안된 논문(Li, 2026)에서 소개된 기법으로, 모델이 얼마나 많은 사실을 기억하는지에 주목하여 블랙박스 LLM의 크기를 추정하는 새로운 가능성을 열었습니다.
### 1. 블랙박스 LLM의 크기를 재는 새로운 접근: Incompressible Knowledge Probes (IKP)
기존의 모델 크기 추정 방식은 API 가격이나 응답 속도 등 외부 요인에 의존하여 정확도가 낮았습니다. Incompressible Knowledge Probes(IKP)는 이러한 한계를 극복하기 위해 모델이 '기억하는 사실'의 양을 측정하는 데 초점을 맞춥니다. 아이디어는 단순합니다. 추론 능력은 아키텍처와 학습 방법 개선으로 작은 모델에서도 향상될 수 있지만, 수많은 독립적인 사실을 기억하기 위해서는 그만큼의 저장 공간, 즉 파라미터가 필요하다는 것입니다. 희귀한 사실에 대한 답변을 수집함으로써 모델이 실제로 기억하는 지식의 양을 가늠하고, 이를 크기가 공개된 오픈웨이트 모델과 비교하여 비공개 모델의 크기를 역산하는 방식입니다.
### 2. '기억해야 하는 사실'을 선별하는 질문 설계
IKP의 핵심은 모델이 얼마나 많은 사실을 기억하는지 정확하게 측정할 수 있는 질문을 설계하는 것입니다. 단순히 어려운 질문을 모으는 것만으로는 부족하며, 질문의 답을 추론으로 이끌어낼 수 있다면 모델이 정답을 기억하고 있었는지, 아니면 즉석에서 추론한 것인지 구분하기 어렵습니다. 따라서 IKP는 정답 자체를 알고 있어야만 맞힐 수 있는, 즉 외부 검색 없이 안정적으로 답하기 위해 모델이 학습 과정에서 해당 사실을 접하고 기억해야만 하는 'incompressible factual knowledge'를 질문으로 구성합니다. 이러한 질문은 흔한 사실부터 매우 드문 사실까지 여러 단계로 나누어, 모델이 이미 아는 유명한 사실만으로 답변하는 것을 방지합니다. 예를 들어, 특정 행사의 시작 연도를 묻거나 잘 알려지지 않은 연구자의 세부 전공과 대표 논문을 함께 묻는 방식입니다.
### 3. 모델 크기와 기억하는 사실의 양 간의 상관관계 분석
IKP 방법론의 유효성을 검증하기 위해, 연구팀은 파라미터 수가 공개된 93개의 오픈웨이트 모델에 동일한 질문을 던졌습니다. 결과는 명확했습니다. 모델의 파라미터 수가 클수록 더 많은 희귀한 사실을 기억하는 경향이 뚜렷하게 나타났으며, 파라미터가 10배 증가할 때마다 정답률은 약 15.9%p 상승했습니다. 이 관계는 높은 R² 값(0.910)으로 설명되었습니다. 또한, 모델을 하나씩 숨기고 나머지 모델로 크기를 추정했을 때 일반적인 오차는 약 1.48배 수준으로, 이는 IKP가 모델의 실제 크기를 상당히 정확하게 추정할 수 있음을 시사합니다. 흥미로운 점은 같은 파라미터 수를 가진 모델이라도 최신 모델일수록 더 많은 사실을 기억하는 경향은 뚜렷하게 나타나지 않았다는 것입니다. 이는 추론 능력은 빠르게 향상되지만, 사실 자체를 기억하는 능력은 파라미터 수와 더 직접적인 관련이 있음을 보여줍니다.
### 4. 프론티어 모델의 지식 용량 추정 및 소문과의 비교
IKP 방법론을 통해 Claude Sonnet을 약 766B급으로 추정하는 등, 비공개 모델의 지식 용량을 추정하는 데 성공했습니다. 일부 최신 프론티어 모델은 수조 개의 파라미터에 해당하는 지식 용량을 가진 것으로 추정되며, 이는 GPT-5.5 Pro의 경우 약 5.3T, Claude Fable 5는 약 3.5T로 추정되었습니다. 다만, 이러한 수치는 모델의 정확한 파라미터 수가 아닌, 해당 지식량을 기억하는 오픈웨이트 모델의 크기를 기준으로 한 '유효 지식 용량'으로 해석해야 합니다. 특히 1T 이상의 구간에서는 비교 기준이 되는 공개 모델이 적어 추정의 불확실성이 존재합니다. 또한, 답변 거부율이 높은 모델은 실제 지식 용량보다 낮게 평가될 수 있으며, MoE 모델의 경우 전체 파라미터 수와 더 강한 상관관계를 보였습니다. Elon Musk가 언급한 Grok, Sonnet, Opus의 규모와 비교했을 때, IKP 추정치는 일부 차이를 보였으나 제시된 넓은 예상 범위 내에 포함되어 방법론의 타당성을 뒷받침합니다.
### 가치와 인사이트
IKP 방법론은 블랙박스 LLM의 크기를 추정하는 데 있어 획기적인 전환점을 제시합니다. 이는 단순히 모델의 '체급'을 가늠하는 것을 넘어, 특정 규모의 모델에서 현재의 프론티어 성능이 가능하다는 '가능성의 증명' 역할을 합니다. 연구자나 개발자들은 이러한 추정치를 바탕으로 막연한 탐색 대신 구체적인 학습 전략과 인프라 설계를 목표 지향적으로 진행할 수 있습니다. 또한, 모델의 지식 용량에 대한 이해는 모델의 강점과 약점을 파악하고, 특정 작업에 더 적합한 모델을 선택하는 데 중요한 인사이트를 제공합니다. 이는 곧 LLM의 효율적인 활용과 발전에 기여할 것입니다.
### 기술·메타
- 논문: Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity (Li, 2026)
- 관련 연구: Densing Law of LLMs (Xiao et al., 2024)
- 라이선스: Trillion Labs Research 블로그 팀 CTRL K (2026)
### 향후 전망
IKP와 같은 방법론의 발전은 LLM 시장의 투명성을 높이는 데 기여할 수 있습니다. 파라미터 수 공개가 어려운 상황에서, 모델의 실제 성능과 규모를 객관적으로 평가할 수 있는 도구는 경쟁 구도에도 영향을 미칠 것입니다. 향후에는 IKP의 정확도를 더욱 높이기 위한 연구와 함께, 다양한 유형의 LLM(예: MoE 모델의 활성 파라미터와 전체 파라미터 간의 관계 심화)에 대한 적용 범위 확대가 예상됩니다. 또한, 이러한 추정치를 기반으로 한 LLM의 성능 예측 및 최적화 연구가 활발해질 가능성이 있습니다. 다만, 모델의 크기 추정은 여전히 불확실성을 내포하며, 답변 거부율이나 특정 훈련 데이터에 대한 편향성 등 잠재적 리스크 요인에 대한 지속적인 연구와 검증이 필요합니다.
📝 원문 및 참고
- 원문: [링크 열기](https://blog.trillionlabs.co/posts/estimating-closed-source-llm-parameters/)
- GeekNews 토픽: [보기](https://news.hada.io/topic?id=32977)
---
출처: GeekNews ([원문 링크](https://blog.trillionlabs.co/posts/estimating-closed-source-llm-parameters/))
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.