[Hacker News 요약] AI 에이전트가 다른 AI 모델을 RL로 훈련시키는 파이프라인 구축
39
설명
Dan Austin은 약 1,300달러의 비용으로 강화학습(RL)을 사용하여 다른 AI 에이전트를 훈련시키는 AI 에이전트 파이프라인을 개발했습니다.
이 시스템은 "AI가 AI를 훈련시키는 AI"라는 개념을 구현하며, Qwen3.6-35B-A3B 모델을 기반으로 하는 훈련 에이전트가 자체적으로 훈련 작업을 생성하고 실행합니다.
개발자는 이 프로젝트의 전체 코드, 훈련된 에이전트 가중치, 인프라 구성 등을 Hugging Face와 GitHub를 통해 공개했습니다.
### 배경 설명
최근 몇 년간 생성형 AI, 특히 대규모 언어 모델(LLM)의 발전은 놀라운 속도로 이루어졌습니다. 이러한 모델들은 텍스트 생성, 코드 작성, 번역 등 다양한 작업을 수행할 수 있지만, 특정 작업을 효과적으로 수행하기 위해서는 추가적인 훈련이나 미세 조정(fine-tuning)이 필요합니다. 강화학습(RL)은 에이전트가 환경과의 상호작용을 통해 보상을 최대화하는 방향으로 학습하도록 하는 강력한 기법으로, 모델 훈련 과정 자체에 적용될 경우 효율성과 성능을 크게 향상시킬 잠재력을 가지고 있습니다.
이 프로젝트는 이러한 배경 속에서 등장했습니다. 기존의 모델 훈련은 주로 인간 전문가가 직접 훈련 스크립트를 작성하고 하이퍼파라미터를 조정하는 방식으로 이루어졌습니다. 하지만 이 프로젝트는 AI 에이전트가 이러한 훈련 과정을 자동화하도록 함으로써, 훈련의 복잡성을 줄이고 더 빠르고 효율적인 모델 개발을 가능하게 합니다. 특히, 약 1,300달러라는 비교적 저렴한 비용으로 이러한 시스템을 구축했다는 점은 AI 모델 훈련의 접근성을 높이는 데 기여할 수 있습니다. 이는 개인 연구자나 소규모 팀도 복잡한 AI 모델 훈련 파이프라인을 구축하고 실험할 수 있는 가능성을 열어줍니다.
### 프로젝트 개요: AI 에이전트가 AI 훈련 작업을 생성하고 실행
Dan Austin이 개발한 'ai-trains-ai' 프로젝트는 두 개의 강화학습(RL) 루프를 활용합니다. 외부 루프의 AI 에이전트(Qwen3.6-35B-A3B 기반, LoRA 어댑터 사용)는 "AI 모델을 훈련시켜 X를 수행하게 하라"는 작업을 부여받습니다. 이 에이전트는 훈련 환경, 보상 함수, 하이퍼파라미터 등을 포함하는 완전한 훈련 작업을 작성합니다. 작성된 훈련 작업은 Runpod GPU에서 실행되며, 내부 루프에서는 작은 규모의 기본 모델(Qwen3-0.6B / 1.7B)이 해당 작업을 수행하며 훈련됩니다. 내부 루프에서 훈련된 모델의 성능은 외부 루프의 보상 신호로 사용되어, 외부 에이전트가 더 나은 훈련 작업을 생성하도록 RL 학습을 진행합니다. 이 과정은 약 54번의 훈련 단계를 거치며, 보상 값은 약 0.0에서 최고 0.63까지 상승했습니다. 특히, 에이전트는 이전에 훈련받지 않은 새로운 작업군(task family)에 대해서도 일정 수준의 성능을 보여주며 일반화 능력을 입증했습니다.
### 훈련 메커니즘 및 보상 설계
이 시스템의 핵심은 '에피소드' 단위로 진행되는 훈련입니다. 각 에피소드는 훈련 에이전트가 주어진 작업 명세에 따라 유효하고 고품질의 훈련 작업을 생성하는 시도를 의미합니다. 에이전트는 파일 읽기/쓰기/편집 등의 인터페이스를 통해 샌드박스화된 작업 공간을 조작하며, `get_baseline_scores` 함수를 호출하여 훈련되지 않은 기본 모델의 성능을 확인할 수 있습니다. 유효성 검사를 통과한 작업은 Runpod GPU에서 `prime-rl` 프레임워크를 사용하여 GRPO 알고리즘으로 훈련됩니다. 훈련된 모델은 숨겨진 평가 도구를 통해 사전 및 사후 점수를 측정받습니다. 에피소드 보상은 작업의 유효성, 훈련된 모델의 성능 향상 정도(uplift), 그리고 훈련 속도를 종합적으로 고려하여 설계되었습니다. 특히, 훈련 에이전트는 기본 모델 선택 및 하이퍼파라미터 조정에도 학습 능력을 보여, 초기에는 약한 모델을 선택했지만 점차 더 강력한 1.7B 모델과 다양한 `prime_rl` 설정을 활용하게 되었습니다.
### 인프라스트럭처 및 비용 분석
프로젝트는 Runpod의 GPU 인스턴스를 활용하여 최대 16개의 GPU 파드를 동시에 운영했습니다. 내부 훈련 작업은 `prime-rl`과 `verifiers`의 특정 버전에 고정된 웜 파드를 사용하여 약 2분 내에 준비되었습니다. GPU 선택은 비용 효율성을 고려하여 RTX A5000을 중심으로 이루어졌으나, 실제로는 A40 GPU가 가장 많이 사용되었습니다. 외부 루프는 Thinking Machines의 관리형 RL API인 Tinker를 사용하여 Qwen3.6-35B-A3B 에이전트를 LoRA 방식으로 훈련했습니다. 비동기 오프-폴리시 학습 방식을 채택하여 느린 에피소드가 전체 배치 처리를 지연시키는 문제를 해결했습니다. 전체 프로젝트의 비용은 약 950달러(약 1,275달러)로 추산되었으며, 이는 Runpod GPU 사용 비용 약 605달러와 Tinker API 사용 비용 약 345달러를 포함합니다. 이 비용에는 초기 파일럿 단계, GPU 벤치마킹, 베이스라인 설정 등에 소요된 추가 비용은 포함되지 않았습니다.
### 공개된 모델 가중치 및 재현 가능성
개발자는 훈련된 훈련 에이전트의 LoRA 어댑터 가중치를 Hugging Face(Danau5tin/ai-trains-ai-trainer)에 Apache-2.0 라이선스로 공개했습니다. 이 어댑터는 Qwen/Qwen3.6-35B-A3B 모델을 기반으로 하며, PEFT 라이브러리나 vLLM의 LoRA 지원을 통해 로드할 수 있습니다. 프로젝트의 전체 소스 코드, 에이전트 하네스, 작업군, 보상 코드, GPU 오케스트레이션 스크립트 등도 GitHub에 공개되어 있어, 다른 연구자들이 프로젝트를 재현하거나 확장할 수 있습니다. `uv` 명령어를 사용하여 환경을 설정하고, `pytest`로 테스트를 실행하거나, 특정 작업을 지정하여 에피소드를 직접 실행해 볼 수 있습니다. 또한, `scripts/seed_baselines.py`를 사용하여 베이스라인을 고정하고, `scripts/train_trainer.py`로 외부 RL 훈련을 테스트할 수 있습니다.
### 가치와 인사이트
이 프로젝트는 AI가 AI를 훈련시키는 과정을 자동화함으로써 모델 개발의 효율성을 극대화할 수 있다는 가능성을 보여줍니다. 약 1,300달러라는 합리적인 비용으로 복잡한 RL 기반 훈련 파이프라인을 구축하고 성공적으로 운영했다는 점은 AI 연구 및 개발의 접근성을 크게 향상시킬 수 있습니다. 특히, 훈련 에이전트가 새로운 작업군에 대한 일반화 능력을 보이고, 모델 선택 및 하이퍼파라미터 튜닝까지 자동화하는 능력은 향후 AI 개발 워크플로우에 큰 영향을 미칠 수 있습니다. 이는 개발자가 반복적이고 시간이 많이 소요되는 훈련 과정을 자동화하고, 더 창의적이고 전략적인 작업에 집중할 수 있도록 지원합니다. 또한, 공개된 코드와 가중치는 커뮤니티의 협력을 촉진하고 관련 연구의 발전을 가속화할 것입니다.
### 기술·메타
- Python
- Reinforcement Learning (RL)
- Qwen3.6-35B-A3B
- LoRA (Low-Rank Adaptation)
- prime-rl
- Tinker (Thinking Machines)
- Runpod
- Hugging Face Transformers
- PEFT (Parameter-Efficient Fine-Tuning)
- vLLM
### 향후 전망
향후 이 프로젝트는 더욱 발전할 가능성이 높습니다. 현재는 에이전트가 한 번에 하나의 훈련 작업을 제출하지만, 다음 단계로는 에이전트가 훈련 결과를 분석하고 후속 실험을 제안하거나, 여러 실험을 동시에 디스패치하여 다중 작업 연구 능력을 갖추도록 확장될 수 있습니다. 또한, 현재는 상태가 없는(stateless) 도구 호출 환경만 지원하지만, 향후 상태를 가지는(stateful) 코딩 에이전트 등을 훈련할 수 있도록 지원 범위를 넓힐 수 있습니다. 경쟁 측면에서는 다른 연구 기관이나 기업들도 유사한 자동화된 훈련 시스템을 개발할 가능성이 있으며, 이는 AI 모델 훈련의 표준을 재정의할 수 있습니다. 제품 측면에서는 이러한 자동화된 훈련 파이프라인이 클라우드 기반 AI 개발 플랫폼의 핵심 기능으로 통합될 수 있습니다. 커뮤니티는 공개된 코드를 기반으로 다양한 개선 사항과 새로운 응용 사례를 제안하며 프로젝트의 발전에 기여할 것으로 예상됩니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=48905919)
- 원문: [링크 열기](https://github.com/Danau5tin/ai-trains-ai)
---
출처: Hacker News · [원문 링크](https://github.com/Danau5tin/ai-trains-ai)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.