[Hacker News 요약] LLM의 지속적인 학습을 위한 '수면 프레임워크' 공개: 지식 유지 및 추론 능력 향상
8
설명
Google Research의 Ali Behrouz와 Vahab Mirrokni는 2026년 10월 27일, 대규모 언어 모델(LLM)이 지속적인 학습 과정에서 지식을 유지하고 추론 능력을 향상시킬 수 있는 새로운 '수면 프레임워크'를 제안했습니다.
이 프레임워크는 LLM이 치명적인 망각(catastrophic forgetting) 현상이나 고정된 지식 시점(knowledge cutoff)의 한계를 극복하도록 설계되었습니다.
기존 LLM의 한계를 넘어서는 이 접근 방식은 인간의 기억 처리 방식에서 영감을 얻었습니다.
### 배경 설명
현대의 대규모 언어 모델(LLM)은 사전 학습(pre-training)과 인컨텍스트 학습(in-context learning, ICL)을 통해 인상적인 성능을 달성하고 있습니다. 그러나 일단 배포된 LLM은 기본적으로 고정된 지식 시점을 가지며, 새로운 정보를 지속적으로 습득하거나 장기적인 능력을 개발하는 데 한계가 있습니다. 새로운 데이터로 모델을 업데이트하는 것은 종종 '치명적인 망각'이라는 근본적인 문제를 야기합니다. 이는 새로운 작업을 학습하면서 이전에 학습한 작업에 대한 성능이 심각하게 저하되는 현상입니다. 다른 한편으로, ICL에만 의존하는 것은 지식 유지 능력을 즉각적인 컨텍스트 창으로 제한합니다. 컨텍스트 세션이 종료되면 습득된 단기 정보는 잊혀집니다. 이러한 문제를 해결하기 위해, 인간의 뇌가 휴식 중에 기억을 처리하고 안정화하는 방식에서 영감을 얻은 '수면 프레임워크'가 제안되었습니다. 이 프레임워크는 LLM에게 지속적인 주기적 생명 주기를 부여하여, 새로운 사실을 지속적으로 학습하고, 취약한 단기 컨텍스트를 안정적인 장기 매개변수로 통합할 수 있도록 합니다. 이는 LLM이 1000만 토큰(10M tokens)에 달하는 장기 기억을 유지하고 복잡한 추론 능력을 향상시키는 것을 가능하게 합니다.
### 기계 학습의 재고찰: 능동(깨어있는) 단계와 수면 단계
기존의 기계 학습은 훈련과 추론 사이에 엄격한 분리를 유지합니다. 그러나 지속적인 학습 프레임워크에서는 이러한 구분이 인위적이 됩니다. 지능형 에이전트는 끊임없이 학습하고, 적응하며, 정보를 처리해야 합니다. 수면 패러다임 하에서 LLM은 두 가지 주요 상태를 통해 작동합니다. 첫 번째는 '능동(깨어있는) 단계'로, 모델이 입력을 적극적으로 수신, 처리 및 상호 작용하며, 빠른 단기 기억 구성 요소에 임시 정보를 저장합니다. 두 번째는 '수면 단계'로, 모델은 새로운 입력 처리를 일시 중단하고 내부 계산을 기억 통합 및 자체 개선에 재할당합니다. '수면', '꿈', '자체 개선'과 같은 용어는 신경과학에서 차용되었지만, 이 프레임워크는 고정된 모델 아키텍처와 인간이 정의한 훈련 규칙 내에서 완전히 작동합니다. 오프라인 수면 단계 동안 모델은 미리 할당된 Mixture-of-Experts (MoE) 메모리 블록을 잠금 해제하고 자체 생성된 연습 예제를 사용하여 수치 가중치를 업데이트합니다. 이 자동화된 사후 훈련 주기는 배포된 모델이 핵심 코드베이스와 설계를 변경하지 않고도 새로운 사실을 흡수하고 추론 정확도를 높이는 데 도움이 됩니다.
### 수면 과정의 핵심 구성 요소: 기억 통합 및 꿈
수면 패러다임은 두 단계, 즉 기억 통합과 꿈을 통해 치명적인 망각과 지속적인 적응 문제를 해결합니다. 첫째, '기억 통합' 단계는 인간 뇌의 비렘(NREM) 서파 수면이 추상화와 증류를 통해 취약한 기억을 장기 구조로 통합하는 과정을 모방합니다. 이는 두 가지 주요 기술 메커니즘을 통해 구현됩니다. '매개변수 확장 및 연속체 기억 계층 구조'는 치명적인 망각을 방지하기 위해 모델이 수면 중에 동적으로 용량을 확장하도록 합니다. Mixture of Experts (MoE)와 Hope 아키텍처를 사용하여, 새로 잠금 해제된 저랭크(low-rank) 전문가들이 안정적인 저주파수 메모리 블록에 통합되어 기존 매개변수를 방해하지 않고 들어오는 지식을 저장합니다. '지식 시딩(상향 증류)'은 고주파수 계층(예: 인컨텍스트 메모리)에 저장된 취약한 단기 기억을 새로 확장된 장기 매개변수로 전송합니다. 이는 일반화된 지식 증류(Generalized Knowledge Distillation, GKD)와 강화 학습(RL)-based imitation learning을 통해 달성됩니다. 둘째, '꿈을 통한 자체 개선' 단계는 REM 수면 동안 인간 뇌가 시나리오를 적극적으로 시뮬레이션하고 감정/의미론적 연결을 통합하며 새로운 신경 경로를 탐색하는 것과 유사합니다. 이 단계에서는 '무작위 전문가 선택'과 '큐레이션된 리허설'을 통해 모델이 자체적으로 개선됩니다. MoE 라우터는 비표준 전문가를 무작위로 활성화하여 다양한 지식 도메인을 혼합하고 잠재적 패턴을 발견하도록 합니다. 모델은 합성 훈련 샘플('꿈')을 생성하고, 전체 모델 역량을 향상시킬 잠재력이 가장 높은 샘플을 우선적으로 선택하기 위해 경사 기반 데이터 선택을 사용합니다. 마지막으로, 모델은 최상위 꿈 샘플에 대해 지도 미세 조정을 수행하고 생성된 내용이 다운스트림 작업의 성능을 향상시키는지 평가합니다.
### 이론적 기반 및 비교 성능
수면 패러다임은 두 단계(기억 통합 및 꿈)가 단순히 새로운 지식을 오래된 기능과 교환하는 것이 아니라 지속적인 학습을 지원하는 이유를 명확히 하는 이론에 근거합니다. 기억 통합에 대한 분석은 지식 시딩이 구조화된 저랭크 압축 문제로 이해될 수 있음을 보여줍니다. 모델은 단기 흔적의 모든 세부 사항을 매개변수에 복사하도록 요구받는 것이 아니라, 모델 자체의 온폴리 행동과 학습 목표에 의해 보상되는 의미론적 품질을 모두 보존하는 간결한 방향 집합을 식별합니다. 이러한 관점은 두 신호의 상호 보완적인 역할을 설명합니다. 온폴리 증류는 통합을 모델이 추론 시 실제로 생성할 궤적과 일치시켜, 교사 생성 분포에 대해서만 훈련할 때 발생할 수 있는 불일치를 줄입니다. 한편, 의미론적 보상은 토큰 확률을 단순히 일치시키는 것보다 의미와 작업 관련 행동을 보존하는 방향을 우선시하여, 무엇을 유지할 가치가 있는지를 변경합니다. 매개변수 확장 후에는 이전에 통합된 지식을 덮어쓰지 않고 이러한 선택된 기억을 기록하는 데 필요한 용량을 제공합니다. 꿈에 대한 이론은 무작위 전문가 활성화와 보상 기반 샘플 선택을 학습의 기하학적 구조를 개선하는 메커니즘으로 특징짓습니다. 다른 MoE를 주입하면 합성 생성 중에 탐색되는 경사 방향 집합이 확장되어, 모델이 일반적인 깨어있는 시간 데이터만으로는 유도되는 것보다 더 풍부한 업데이트 모음을 접하게 됩니다. 경사 기반 필터링은 학습 신호가 가장 유용한 합성 경험을 강조하여, 기본 경사 공간의 구조를 보존하면서 유익한 방향을 강화합니다. 이러한 단계들은 함께 더 균형 잡힌 최적화 환경을 제공합니다. 즉, 학습은 소수의 방향에 덜 지배받고, 경사는 더 잘 조건화되며, 모델은 기능을 개선할 때 더 안정적인 진전을 이룰 수 있습니다. 이러한 관점에서 꿈은 단순한 자체 생성 데이터 증강이 아니라, 모델이 스스로 개선하는 업데이트를 다양화, 선택 및 통합하는 의도적인 과정입니다. Class-Incremental Learning, 지속적인 번역, 최대 1000만 토큰까지의 장기 컨텍스트 확장, 사실적 지식 통합, 수학적 추론을 포함한 주요 평가 축에서 기준 접근 방식(예: 인컨텍스트 학습 및 지도 미세 조정)과 비교했을 때 수면 프레임워크의 비교 성능은 뛰어납니다. 특히, 만주어 및 칼라망과 같은 보지 못한 언어에서의 지속적인 번역에서 수면 프레임워크는 다단계 평가에서 거의 제로에 가까운 성능 저하를 유지한 반면, ICL, Cartridges 및 지도 미세 조정(SFT)과 같은 표준 기준은 순차 학습 중에 심각한 치명적인 망각을 겪었습니다. BABILong 벤치마크의 장기 컨텍스트 이해에서, 수면 방식은 수면 시간 통합을 사용하여 장기 컨텍스트 정보를 매개변수 메모리로 직접 압축함으로써 GPT-4 및 Titans와 같은 강력한 기준을 능가하며 최대 1000만 토큰까지 거의 완벽한 확장을 보여주었습니다. SQuAD 및 계속된 사전 학습(CPT)에서 평가된 사실적 지식 통합에서, 수면 방식은 기존 모델 표현을 저하시키지 않고 새로운 사실 정보를 성공적으로 통합하여 기본 모델, SFT 및 Self-Adapting Language Models (SEAL)를 포함한 기준 방법을 능가하는 48.9%(단일 작업) 및 46.2%(CPT)의 성능을 달성했습니다. 마지막으로, AIME 24/25 및 HMMT 25를 포함한 수학적 추론 벤치마크에서, 수면 강화 기본 모델은 각각 79.2%, 69.0%, 46.1%의 정확도 점수를 달성했습니다. 이는 SFT, 그룹 상대 정책 최적화(GRPO) 및 온폴리 자기 증류(OPSD)와 같은 기준을 능가하며, 기억 통합과 모방 학습의 결합이 우수한 추론 성능을 이끌어냄을 보여줍니다.
### 가치와 인사이트
Google Research에서 제안한 '수면 프레임워크'는 LLM이 지속적인 학습 환경에서 발생하는 치명적인 망각 현상과 고정된 지식 시점의 한계를 극복할 수 있는 실질적인 해결책을 제시합니다. 이 프레임워크는 인간의 뇌가 기억을 통합하고 강화하는 방식에서 영감을 얻어, 능동적인 학습 단계와 오프라인 메모리 통합 및 자체 개선 단계로 구성됩니다. 이를 통해 LLM은 새로운 정보를 지속적으로 습득하고, 장기 기억으로 안정화하며, 복잡한 추론 능력을 향상시킬 수 있습니다. 특히, 1000만 토큰(10M tokens)에 달하는 장기 컨텍스트를 효과적으로 처리하고, 새로운 언어에 대한 지속적인 번역 성능을 유지하는 등 실질적인 성능 향상을 입증했습니다. 이는 LLM이 더욱 동적이고 적응적인 환경에서 장기간 유용성을 유지하는 데 중요한 기여를 할 것으로 기대됩니다.
### 기술·메타
- Mixture-of-Experts (MoE)
- Hope architecture
- Generalized Knowledge Distillation (GKD)
- Reinforcement Learning (RL)-based imitation learning
- Levenshtein distance
- BABILong benchmark
- SQuAD
- Continued Pre-training (CPT)
- AIME 24/25
- HMMT 25
- GPT-4
- Titans
### 향후 전망
수면 프레임워크는 LLM의 지속적인 학습 능력을 향상시키는 중요한 발걸음이지만, 향후 몇 가지 변수가 미래의 발전 방향을 결정할 것입니다. 첫째, 경쟁 측면에서 다른 연구 기관 및 기업들이 유사하거나 개선된 지속 학습 메커니즘을 개발할 가능성이 있습니다. 둘째, 이 프레임워크가 실제 제품에 통합될 때, 확장성, 효율성 및 안정성에 대한 추가적인 검증이 필요할 것입니다. 특히, 10M 토큰 이상의 컨텍스트 처리 능력과 실시간 업데이트의 균형을 맞추는 것이 중요합니다. 셋째, 커뮤니티 측면에서는 이 프레임워크의 오픈 소스 공개 여부와 관련 연구의 활성화가 향후 기술 발전에 큰 영향을 미칠 것입니다. 2026년 10월 27일에 발표된 이 연구는 LLM이 고정된 지식의 한계를 넘어, 끊임없이 배우고 발전하는 자율적인 AI 시스템으로 나아가는 길을 열어줄 잠재력을 가지고 있습니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=50272479)
- 원문: [링크 열기](https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/)
---
출처: Hacker News · [원문 링크](https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.