AIsle
AI TREND

[GeekNews 요약] OpenMythos: Claude Mythos 아키텍처를 역설계한 오픈소스 Recurrent-Depth Transformer 구현

18
NE

Nedai

운영자

설명

최근 등장한 OpenMythos는 Anthropic의 Claude Mythos 모델 아키텍처를 이론적으로 재구성한 오픈소스 프로젝트입니다. 이 프로젝트는 공개된 연구 자료와 추측을 기반으로 Claude Mythos의 핵심 메커니즘인 Recurrent-Depth Transformer(RDT)를 구현하여, 고급 LLM의 심층 추론 능력과 파라미터 효율성을 이해하는 데 중요한 통찰을 제공합니다. 개발자 및 연구자들은 이 구현을 통해 차세대 LLM 아키텍처의 가능성을 탐색하고, 실제 모델의 동작 원리를 깊이 있게 분석할 수 있습니다. ### 1. OpenMythos: Claude Mythos 아키텍처의 이론적 재구성 OpenMythos는 Anthropic의 Claude Mythos 모델 아키텍처를 독립적으로, 그리고 이론적으로 재구성한 오픈소스 구현체입니다. 이 프로젝트는 공개된 연구 문헌과 추측에 기반하며, Anthropic이나 그들의 독점 시스템과는 관련이 없습니다. OpenMythos의 핵심은 Recurrent-Depth Transformer(RDT) 모델을 구현하는 것으로, 이는 Prelude(표준 트랜스포머 블록), 반복되는 Recurrent Block(최대 루프 횟수까지 반복), 그리고 최종 Coda로 구성됩니다. 어텐션 메커니즘은 MLA(Multi-Query Attention)와 GQA(Grouped-Query Attention) 사이에서 전환 가능하며, 피드포워드 네트워크는 라우팅 및 공유 전문가를 포함하는 희소 MoE(Mixture of Experts)를 사용하여 계산 적응적이고 깊이 가변적인 추론을 탐색하는 데 이상적입니다. ### 2. Recurrent-Depth Transformer (RDT)의 작동 원리 RDT, 또는 Looped Transformer는 수백 개의 고유한 레이어를 쌓는 대신, 레이어의 일부를 재활용하여 단일 포워드 패스 내에서 여러 번 실행하는 아키텍처입니다. 이는 동일한 가중치를 사용하면서 루프 횟수를 늘려 '더 깊은 사고'를 가능하게 합니다. 아키텍처는 입력 후 한 번 실행되는 Prelude, T번 반복되는 Recurrent Block, 그리고 한 번 실행되는 Coda로 나뉩니다. Recurrent Block의 각 루프 단계에서 숨겨진 상태(h)는 `h_{t+1} = A·h_t + B·e + Transformer(h_t, e)` 규칙에 따라 업데이트됩니다. 여기서 `h_t`는 t번째 루프 후의 숨겨진 상태, `e`는 Prelude에서 인코딩된 입력이며, `A`와 `B`는 학습된 주입 파라미터입니다. 매 단계마다 `e`를 주입하는 것은 모델이 표류하는 것을 방지하고 원래 입력 신호를 전체 재귀 깊이 동안 유지하는 데 중요합니다. ### 3. RDT가 Claude Mythos의 핵심 역량을 설명하는 이유 RDT는 Claude Mythos가 보여주는 독특한 능력들을 설명하는 강력한 가설입니다. 첫째, **체계적 일반화(Systematic Generalization)** 능력을 제공합니다. RDT는 훈련 시 보지 못한 방식으로 지식을 결합하는 능력을 세 단계의 그로킹(grokking) 과정을 통해 습득합니다. 둘째, **깊이 외삽(Depth Extrapolation)**이 가능합니다. 추론 시 더 많은 루프를 실행함으로써, RDT는 다단계 수학, 장기 계획 등 깊이 있는 복합 문제를 효과적으로 처리합니다. 셋째, 각 루프 반복은 토큰 공간이 아닌 연속적인 잠재 공간에서 작동하는 **암묵적인 CoT(Chain-of-Thought)** 추론과 기능적으로 동일합니다. 이는 모델이 추론 공간에서 여러 대안을 동시에 탐색하는 것을 가능하게 합니다. 마지막으로, RDT는 **파라미터 폭발 없이** 깊은 추론을 가능하게 합니다. k개의 레이어를 L번 실행하는 모델은 kL개의 레이어를 가진 비루프 모델과 유사한 품질을 달성하면서도 k개의 레이어만큼의 파라미터만 사용합니다. ### 4. RDT 훈련의 안정성 문제와 해결책 루프 모델 훈련은 잔차 폭발(residual explosion)과 손실 급증(loss spikes)으로 인해 불안정해지기 쉽습니다. 이러한 문제는 숨겨진 상태 `h_t`가 루프를 거듭하며 무한히 커지거나, 주입 파라미터의 큰 스펙트럼 노름으로 인해 훈련이 갑자기 발산하는 경우 발생합니다. 동적 시스템 관점에서, 재귀를 잔차 스트림에 대한 이산 선형 시불변(LTI) 동적 시스템으로 재구성하면, 안정성은 주입 파라미터 `A`의 스펙트럼 반경 `ρ(A)`에 의해 결정됩니다. `ρ(A) < 1`일 때 시스템은 안정적이고 수렴하며, `ρ(A) ≥ 1`일 때 불안정하고 발산합니다. 이 문제를 해결하기 위해 Parcae 아키텍처는 주입 파라미터를 제약하여 `ρ(A) < 1`이 항상 유지되도록 보장합니다. 이는 모델을 하이퍼파라미터 선택에 훨씬 더 강건하게 만들고 높은 학습률에서도 안정적으로 훈련할 수 있게 합니다. ### 5. Claude Mythos의 심층 추론과 폭넓은 지식 처리 RDT는 깊이 있는 추론을 제공하지만, '과도한 사고(overthinking)' 문제에 직면할 수 있습니다. 특정 깊이 이상으로 루프를 반복하면 숨겨진 상태가 해답을 넘어 노이즈로 표류하여 예측이 저하될 수 있습니다. 이를 해결하기 위해 Adaptive Computation Time(ACT)과 같은 정지 메커니즘이 사용될 수 있으며, 이는 모델이 언제 루프를 멈출지 동적으로 결정하게 합니다. 또한, Claude Mythos가 코드, 수학, 문학 등 다양한 도메인을 처리하는 폭넓은 능력을 설명하기 위해 **Mixture of Experts(MoE)**가 사용될 것으로 추정됩니다. MoE는 Recurrent Block 내의 FFN을 여러 작은 전문가로 분할하고, 라우터가 토큰당 상위 전문가를 선택하며, 공유 전문가가 공통 지식을 처리합니다. 마지막으로, **루프 인덱스 임베딩 가설**은 RoPE와 유사하게 루프 인덱스를 주입하여 각 루프가 동일한 가중치를 공유하면서도 기능적으로 다른 연산을 수행할 수 있도록 하여 표현력을 높일 수 있다고 제안합니다. ### 6. RDT 기반 모델의 효율성 및 배포 시사점 Parcae는 루프 훈련에 대한 예측 가능한 스케일링 법칙을 확립했습니다. 고정된 FLOP 예산 내에서 평균 재귀를 늘리고 토큰 수를 줄이는 것이 더 낮은 손실을 가져오며, 추론 시 더 많은 루프는 예측 가능한 지수적 감소를 따르며 품질을 향상시킵니다. 이는 루프 모델이 파라미터 효율적임을 시사합니다. 또한, 루프 모델은 추론은 개선하지만 암기력은 저해할 수 있는 **기억-추론 트레이드오프**를 보입니다. **LoRA(Low-Rank Adaptation)**를 통한 파라미터 재사용은 각 루프가 동작을 미세하게 조정하면서도 가중치 공유의 효율성을 유지하게 합니다. 마지막으로, **연속 깊이별 배치(Continuous Depth-wise Batching)**는 모든 토큰이 동일한 재귀 블록을 공유하므로, 모델이 다른 깊이에서 루프를 종료하여 쉬운 입력은 빠르게, 어려운 입력은 더 많은 반복으로 처리할 수 있게 하여 추론 처리량을 2~3배 향상시킬 수 있습니다. ### 가치와 인사이트 OpenMythos 프로젝트는 Claude Mythos와 같은 최첨단 LLM의 '블랙박스'를 해체하고 그 내부 작동 원리를 커뮤니티에 공개하는 데 큰 가치를 가집니다. Recurrent-Depth Transformer(RDT) 아키텍처의 이론적 재구성을 통해, 우리는 LLM이 어떻게 적은 파라미터로 깊이 있는 추론 능력을 발휘하고, 체계적 일반화 및 깊이 외삽과 같은 고급 인지 능력을 달성하는지에 대한 실질적인 통찰을 얻을 수 있습니다. 특히, 훈련 안정성 문제 해결을 위한 Parcae 아키텍처와 MoE, ACT, 루프 인덱스 임베딩 등의 기술적 가설은 미래 LLM 설계에 중요한 방향을 제시합니다. 실무적으로는, 이러한 개념들을 활용하여 파라미터 효율적이면서도 강력한 추론 능력을 가진 모델을 개발하고, 배포 단계에서 연속 깊이별 배치와 같은 최적화 기법을 통해 서비스 효율성을 극대화할 수 있을 것입니다. 이는 LLM 연구 및 개발의 투명성을 높이고 혁신을 가속화하는 데 기여합니다. ### 기술·메타 - 라이선스: MIT License - 저장소: GitHub - kyegomez/OpenMythos - 주요 기술: PyTorch, AdamW 옵티마이저, bfloat16/float16 정밀도, PyTorch DDP (분산 훈련) - 토크나이저: openai/gpt-oss-20b 기반 MythosTokenizer - 데이터셋: HuggingFaceFW/fineweb-edu 📝 원문 및 참고 - 원문: [링크 열기](https://github.com/kyegomez/OpenMythos) - GeekNews 토픽: [보기](https://news.hada.io/topic?id=28689) --- 출처: GeekNews ([원문 링크](https://github.com/kyegomez/OpenMythos))
사이트 방문하기Visit Service
#GeekNews

댓글 0

아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.

AI TREND 글 목록

복도로 이동 →
제목글쓴이조회