[Hacker News 요약] 코드 생성 AI를 의료팀처럼 운영하여 버그 처리 및 소프트웨어 품질 향상
0
설명
Cockroach Labs는 2026년 10월 9일에 발표된 글에서 생성형 AI 코딩 에이전트를 '의료팀'처럼 운영하는 'MOLT Sinai' 시스템을 소개했습니다.
이 시스템은 5개월간 백만 줄 이상의 코드를 처리하며 단 7건의 롤백만을 기록하며 복잡한 데이터베이스 마이그레이션 작업의 안전성을 입증했습니다.
엄격한 기록 관리, 테스트 커버리지, 계획 검토를 통해 비용이 많이 드는 회귀를 최소화하고 엔터프라이즈급 소프트웨어 신뢰성을 달성했습니다.
### 배경 설명
소프트웨어 개발에서 생성형 AI 코딩 에이전트의 활용이 증가하면서, 이들의 결과물에 대한 신뢰성과 품질 확보가 중요한 과제로 떠올랐습니다. 특히 데이터베이스와 같이 정확성이 최우선시되는 분야에서는 사소한 버그 하나가 치명적인 데이터 손상을 야기할 수 있습니다. OpenAI의 소프트웨어 팩토리와 같은 자동화된 코딩 시스템들이 등장하고 있지만, 이들은 주로 코드 작성 속도에 초점을 맞추고 있습니다. Cockroach Labs는 이러한 속도 중심의 접근 방식이 아닌, 고위험 작업을 수행하는 인력의 능력이 불균등할 때 발생하는 문제를 관리해 온 의료 분야의 오랜 경험에서 영감을 얻었습니다. 특히, 엄격한 인수인계, 동료 검토, 그리고 문제가 발생했을 때의 문헌 연구 등을 통해 높은 품질을 유지하는 '교육 병원(teaching hospital)' 모델을 차용하여 코딩 에이전트 파이프라인을 구축했습니다. 이는 단순히 코드를 빠르게 생성하는 것을 넘어, 신뢰할 수 있고 유지보수 가능하며 철저하게 테스트된 프로덕션 등급의 코드를 생성하는 것을 목표로 합니다.
### MOLT Sinai: 교육 병원 메타포를 활용한 코딩 에이전트 파이프라인
Cockroach Labs는 코딩 에이전트 파이프라인을 'MOLT Sinai'라는 이름의 교육 병원 메타포를 기반으로 설계했습니다. 이 시스템에서는 GitHub 이슈를 '환자'로, 코드 병합을 '퇴원'으로, 인간 관리자를 '주치의(Chiefs of Medicine)'로 지칭합니다. 에이전트는 'Triage Nurse', 'Fellow', 'Review Attending', 'Discharge Nurse' 등 의료진의 역할을 맡아 엄격한 코드 검토, 계획 수립, 안전 가드레일을 강제합니다. 예를 들어, 'Fellow' 에이전트는 문제를 진단하고 치료 계획을 수립하며, 'Review Attending' 에이전트는 계획의 결함을 찾아 승인하거나 거부합니다. 이 과정에서 '계획 없는 코딩 금지', '즉흥적인 수정 금지', '테스트 우회 금지'와 같은 병원 규칙이 적용됩니다. 또한, 'I-PASS(Illness severity, Patient summary, Action list, Situation awareness, Synthesis)'와 같은 표준화된 인수인계 형식을 사용하여 에이전트 간의 정보 전달 오류를 최소화합니다. 이러한 구조는 2026년 4월부터 9월까지 5개월간 100만 라인 이상의 코드를 처리하는 동안 단 7건의 롤백만을 기록하며 높은 품질과 안정성을 입증했습니다.
### IBM Db2 지원 추가: 9개월에서 2일로 단축된 개발 시간
MOLT Sinai 시스템의 효과를 입증하는 대표적인 사례는 IBM Db2 데이터베이스 지원 추가입니다. Db2는 최초의 상용 관계형 데이터베이스 중 하나로, 복잡한 SQL 방언과 타입 시스템을 가지고 있습니다. 2024년에 Oracle 지원을 MOLT 도구에 추가하는 데는 9개월과 약 16만 달러의 엔지니어링 비용이 소요되었습니다. 하지만 MOLT Sinai를 활용하여 Db2 지원을 추가하는 작업은 단 이틀 만에 완료되었으며, 코드는 인간의 개입 없이 에이전트들에 의해 생성되었습니다. 총 토큰 비용은 4,172달러로, 이전 작업 대비 164배 빠른 속도와 38배 저렴한 비용을 기록했습니다. 이 과정에서 에이전트는 GitHub 이슈를 기반으로 작업을 세분화하고, 종속성 그래프를 생성하며, 필요한 경우 하위 이슈를 다시 분해하는 등 복잡한 작업을 자율적으로 수행했습니다. 총 32개의 하위 이슈가 생성되었고, 27개의 풀 리퀘스트가 병합되었으며, 55번의 검토 피드백이 있었고, 9개의 이슈가 에스컬레이션되었습니다.
### 비용 효율성과 품질의 균형: Claude 토큰 비용 및 모델 활용 전략
MOLT Sinai 시스템은 2026년 4월부터 9월까지 약 135,000달러의 Claude 토큰 비용을 소비했으며, 이는 평균 이슈당 약 84달러에 해당합니다. 이슈는 일반적으로 1~2일 동안 시스템에 머물며, 상당 부분은 인간 검토자의 대기 시간으로 소요됩니다. 비용 효율성을 높이기 위해 시스템은 Claude의 다양한 모델(Opus, Fable, Sonnet)을 전략적으로 활용합니다. 초기에는 모든 단계에서 Opus 모델을 사용했지만, Fable 모델의 도입 이후 계획 수립에는 Fable을 사용하고, 구현 단계에서는 Fable이 선택한 모델을 활용합니다. 구현에 어려움이 있을 경우 더 강력한 모델로 에스컬레이션하는 방식입니다. 이러한 모델 전환 및 최적화 과정은 약 2주마다 수행되며, UI 작업과 같이 시각적 데이터를 처리해야 하는 작업은 비용이 더 많이 들 수 있습니다. 또한, CI 환경의 특성도 비용에 영향을 미칩니다. 그럼에도 불구하고, 이러한 비용은 엔터프라이즈급 소프트웨어의 신뢰성을 보장하기 위한 투자로 간주됩니다.
### 자체 개선 및 발전: 병원 시스템의 진화와 코드 중복 문제
MOLT Sinai 시스템은 자체적으로도 지속적으로 발전하고 있습니다. 초기에는 깃허브 액션 워크플로우, 스킬, 프롬프트가 미러링된 리포지토리에 직접 구현되었으나, 이후 'Sinai' 코드만 별도의 리포지토리로 분리하여 다른 팀들이 활용할 수 있도록 했습니다. 흥미로운 점은 Sinai 리포지토리의 커밋 중 85%가 에이전트 자체에 의해 작성되었다는 것입니다. 프레임워크의 버그를 수정하거나, GitHub Actions의 레이스 컨디션 문제를 해결하기 위한 Charge Nurse 워크플로우를 개발하는 등, 에이전트들이 스스로 시스템을 개선하고 발전시키는 모습을 보였습니다. 이는 에이전트 중심의 개발이 빠르고 효율적으로 이루어질 수 있음을 시사합니다. 그러나 이러한 발전 과정에서 프롬프트의 중복성 문제가 발생했습니다. 2026년 7월 감사 결과, 25개의 스킬 파일에서 약 23%에 해당하는 100,000단어 중 23,000단어가 중복되거나 불필요한 것으로 나타났습니다. 이는 각 에이전트가 실행될 때마다 상당한 양의 불필요한 지침을 로드하게 만들어 비용과 시간을 낭비하는 요인이 되었습니다. 예를 들어, Discharge Nurse는 약 21,800단어(약 29,000 토큰)의 지침을 로드합니다. 이러한 중복성은 린터(linter) 부재로 인해 발생했으며, 향후 해결해야 할 과제로 지적되었습니다.
### 가치와 인사이트
MOLT Sinai 시스템은 생성형 AI 코딩 에이전트의 잠재력을 극대화하기 위한 혁신적인 접근 방식을 제시합니다. 단순한 코드 생성을 넘어, 엄격한 검토 프로세스와 명확한 역할 분담을 통해 엔터프라이즈급 소프트웨어의 신뢰성과 품질을 확보할 수 있음을 보여줍니다. 특히, 교육 병원 메타포는 복잡하고 위험도가 높은 작업을 수행하는 AI 시스템에 대한 신뢰를 구축하는 데 효과적입니다. 또한, IBM Db2 지원 추가 사례는 AI 에이전트가 기존의 인간 중심 개발 프로세스보다 훨씬 빠르고 비용 효율적으로 복잡한 기능을 구현할 수 있음을 명확히 보여줍니다. 이는 개발 생산성을 획기적으로 향상시킬 수 있는 가능성을 시사하며, 향후 소프트웨어 개발 방식에 큰 영향을 미칠 것으로 예상됩니다. 비용 효율성을 위해 다양한 LLM 모델을 조합하고 최적화하는 전략 또한 실무적인 시사점을 제공합니다.
### 기술·메타
- GitHub Actions
- Claude (Opus, Fable, Sonnet)
- ANTLR grammar
- Docker image for CI
### 향후 전망
MOLT Sinai의 성공은 AI 기반 소프트웨어 개발의 미래를 밝게 합니다. 향후 경쟁은 더욱 정교한 에이전트 역할 설계, 효과적인 에이전트 간 협업 메커니즘 개발, 그리고 AI가 생성한 코드의 품질을 보증하기 위한 자동화된 검증 시스템 구축에 집중될 것입니다. Cockroach Labs는 현재 주니어 엔지니어들이 AI 에이전트와 협력하여 학습하고 성장할 수 있는 방안을 모색하고 있으며, 이는 AI가 단순한 도구를 넘어 교육 및 멘토링의 역할까지 수행할 수 있음을 보여줍니다. 또한, 시스템을 완전히 자율 모드로 전환하기 위한 실험을 진행 중이며, 이는 AI 에이전트가 인간의 개입 없이도 특정 유형의 문제를 해결할 수 있음을 의미합니다. 이러한 발전은 소프트웨어 개발의 속도와 효율성을 극대화하는 동시에, 개발자의 역할 변화와 새로운 기술 습득의 필요성을 제기할 것입니다. AI 코딩 에이전트의 발전은 지속적으로 새로운 기술적 도전과 기회를 창출할 것이며, 관련 커뮤니티의 활발한 연구와 협력이 중요해질 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=50021899)
- 원문: [링크 열기](https://www.cockroachlabs.com/blog/experiment-running-hospital-code/)
---
출처: Hacker News · [원문 링크](https://www.cockroachlabs.com/blog/experiment-running-hospital-code/)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.