[GeekNews 요약] Anthropic, Claude Code 품질 저하 원인 분석 및 재발 방지 대책 발표
29
설명
최근 Anthropic의 Claude Code에서 발생한 서비스 품질 저하 문제에 대한 상세한 포스트모템 보고서가 공개되었습니다. 이 보고서는 AI 모델의 복잡한 개발 과정에서 발생할 수 있는 다양한 문제점과 이를 해결하기 위한 Anthropic의 노력, 그리고 향후 재발 방지 대책을 심도 있게 다룹니다. 개발자 및 IT 전문가들은 이번 사례를 통해 대규모 언어 모델(LLM) 운영의 현실적인 어려움과 안정적인 서비스 제공을 위한 필수적인 고려 사항들을 배울 수 있을 것입니다.
### 배경 설명
최근 몇 년간 대규모 언어 모델(LLM)은 소프트웨어 개발, 콘텐츠 생성, 데이터 분석 등 광범위한 분야에서 혁신을 주도하고 있습니다. 특히 코딩 지원 AI는 개발 생산성을 획기적으로 높일 잠재력을 가지고 있어, Anthropic의 Claude Code와 같은 서비스는 많은 기대를 받고 있습니다. 그러나 이러한 모델들은 복잡한 내부 구조와 방대한 학습 데이터, 그리고 끊임없는 개선 과정 속에서 예상치 못한 문제를 야기할 수 있습니다. 성능 최적화, 사용자 경험 개선, 그리고 모델의 지능 수준 유지 사이의 미묘한 균형은 AI 개발사들에게 항상 도전 과제로 남아있습니다.
이번 Claude Code 품질 저하 사태는 이러한 배경 속에서 발생했습니다. 사용자들은 Claude의 응답 품질이 저하되고, 마치 기억력이 없어진 듯 반복적인 행동을 보이거나, 코딩 능력에 문제가 생겼다고 보고했습니다. 이는 단순히 기능적인 오류를 넘어, AI 모델에 대한 신뢰도와 사용자 경험에 직접적인 영향을 미치는 중대한 문제였습니다. Anthropic은 이러한 문제에 대해 투명하게 원인을 분석하고 해결 과정을 공유함으로써, AI 커뮤니티에 중요한 교훈을 제공하고 있습니다. 이는 AI 기술이 빠르게 발전하는 현 시점에서, 안정성과 신뢰성 확보가 얼마나 중요한지를 다시 한번 일깨워주는 사례라 할 수 있습니다.
### 1. 문제 발생 배경 및 초기 대응
지난 한 달간 Claude Code 사용자들로부터 응답 품질 저하에 대한 보고가 잇따랐습니다. Anthropic은 이 문제를 심각하게 인지하고 조사를 시작했으나, 초기에는 내부 사용량 및 평가(evals)에서 문제가 재현되지 않아 원인 파악에 어려움을 겪었습니다. 이는 사용자 피드백의 정상적인 변동성과 실제 서비스 저하를 구분하기 어려웠기 때문입니다. 하지만 지속적인 사용자 보고와 구체적인 재현 사례를 통해, Anthropic은 Claude Code, Claude Agent SDK, Claude Cowork에 영향을 미친 세 가지 독립적인 변경 사항이 문제의 원인임을 밝혀냈습니다. API 자체는 영향을 받지 않았으며, 모든 문제는 4월 20일(v2.1.116)까지 해결되었습니다. 이번 포스트모템은 이러한 문제들이 어떻게 발생했고, 어떻게 해결되었으며, 앞으로 유사한 문제가 재발하지 않도록 어떤 조치를 취할 것인지 설명합니다.
### 2. 첫 번째 원인: 추론 노력 수준 변경의 잘못된 트레이드오프
첫 번째 문제는 Claude Code의 기본 추론 노력(reasoning effort) 수준을 변경하면서 발생했습니다. 2월에 Opus 4.6 모델을 Claude Code에 출시하면서 기본 추론 노력을 '높음(high)'으로 설정했으나, 일부 사용자들이 UI가 멈춘 것처럼 보이는 긴 지연 시간을 경험했습니다. 이에 Anthropic은 3월 4일, 지연 시간을 줄이기 위해 기본 추론 노력을 '높음'에서 '중간(medium)'으로 변경했습니다. 내부 평가에서는 '중간' 노력이 대부분의 작업에서 지연 시간을 크게 줄이면서 지능 수준은 약간만 낮추는 것으로 나타났기 때문입니다. 그러나 이 변경은 사용자들에게 Claude Code가 덜 똑똑해졌다는 인상을 주었고, 사용자들은 더 높은 지능을 선호하며 간단한 작업에 대해서만 낮은 노력을 선택할 수 있기를 원했습니다. 결국 Anthropic은 4월 7일 이 결정을 철회하고, 모든 사용자의 기본 추론 노력을 Opus 4.7의 경우 '매우 높음(xhigh)', 다른 모델의 경우 '높음'으로 되돌렸습니다. 이는 성능과 사용자 경험 사이의 트레이드오프를 결정할 때 사용자 피드백의 중요성을 보여주는 사례입니다.
### 3. 두 번째 원인: 캐싱 최적화 버그로 인한 기억 상실
두 번째 문제는 3월 26일에 배포된 캐싱 최적화 기능의 버그였습니다. 이 기능은 한 시간 이상 유휴 상태였던 세션의 이전 추론 기록을 지워 세션 재개 시 지연 시간을 줄이고 비용을 절감하려는 목적이었습니다. Claude는 일반적으로 대화 기록에 추론 과정을 유지하여 후속 턴에서 이전 결정을 참조할 수 있도록 합니다. 그러나 구현 과정에서 버그가 발생하여, 유휴 세션이 한 번 활성화되면 세션이 끝날 때까지 매 턴마다 이전 추론 기록을 지워버리는 문제가 발생했습니다. 이는 Claude가 이전 대화 내용을 '잊어버리고' 반복적인 응답을 하거나, 도구 사용 시 이상한 선택을 하는 원인이 되었습니다. 또한, 지속적으로 추론 블록이 삭제되면서 캐시 미스가 발생하여 사용량 제한이 예상보다 빠르게 소진되는 문제도 보고되었습니다. 이 버그는 Claude Code의 컨텍스트 관리, Anthropic API, 그리고 확장된 추론 과정이 교차하는 지점에서 발생했으며, 여러 코드 검토와 테스트를 통과했음에도 불구하고 특정 코너 케이스(오래된 세션)에서만 나타나 일주일 이상 원인 파악에 시간이 걸렸습니다. Anthropic은 4월 10일 v2.1.101에서 이 버그를 수정했습니다.
### 4. 세 번째 원인: 시스템 프롬프트 변경으로 인한 코딩 품질 저하
세 번째 문제는 시스템 프롬프트 변경과 관련이 있습니다. 최신 모델인 Claude Opus 4.7은 이전 모델에 비해 다소 장황한 경향이 있었고, 이는 어려운 문제 해결에는 유리하지만 더 많은 출력 토큰을 생성했습니다. Anthropic은 이를 해결하기 위해 모델 훈련, 프롬프팅, 그리고 제품 내 사고 UX 개선 등 여러 방법을 시도했습니다. 4월 16일, Opus 4.7 출시와 함께 시스템 프롬프트에 '도구 호출 사이의 텍스트는 25단어 이하로 유지하고, 최종 응답은 작업에 더 많은 세부 정보가 필요하지 않는 한 100단어 이하로 유지하라'는 지침을 추가했습니다. 여러 주간의 내부 테스트에서는 회귀가 발견되지 않았으나, 광범위한 평가 세트를 사용한 추가 조사 결과, 이 프롬프트 변경이 Opus 4.6과 4.7 모두에서 코딩 품질을 3% 저하시키는 예상치 못한 부작용을 일으켰습니다. Anthropic은 즉시 4월 20일 릴리스에서 해당 프롬프트를 되돌렸습니다. 이는 미묘한 프롬프트 변경이 모델의 행동과 성능에 얼마나 큰 영향을 미칠 수 있는지를 보여주는 중요한 사례입니다.
### 가치와 인사이트
이번 Anthropic의 포스트모템은 대규모 언어 모델(LLM)을 개발하고 운영하는 데 있어 중요한 실무적 시사점을 제공합니다. 첫째, AI 모델의 성능과 사용자 경험 사이의 트레이드오프는 매우 섬세하며, 사용자 피드백이 최종 결정에 결정적인 역할을 한다는 점입니다. 개발팀의 내부 평가만으로는 실제 사용자 시나리오를 완벽하게 반영하기 어렵다는 교훈을 얻을 수 있습니다. 둘째, 복잡한 시스템에서는 예상치 못한 버그가 발생할 수 있으며, 특히 캐싱이나 컨텍스트 관리와 같은 핵심 기능의 오류는 모델의 근본적인 동작을 왜곡시킬 수 있습니다. 이러한 버그는 여러 단계의 검토를 통과할 수 있으므로, 재현하기 어려운 코너 케이스에 대한 심층적인 테스트와 모니터링이 필수적입니다. 셋째, 시스템 프롬프트의 미묘한 변경조차 모델의 지능과 출력 품질에 큰 영향을 미칠 수 있다는 점입니다. 이는 프롬프트 엔지니어링의 중요성을 강조하며, 모든 프롬프트 변경에 대해 광범위하고 다각적인 평가 스위트를 적용해야 함을 시사합니다. 마지막으로, 투명한 포스트모템과 사용자 커뮤니티와의 적극적인 소통은 위기 상황에서 신뢰를 회복하고 장기적인 관계를 구축하는 데 매우 중요합니다. Anthropic은 사용량 제한을 재설정하고 피드백에 감사하며, 향후 소통 채널을 강화하겠다고 밝혀 이러한 가치를 실천하고 있습니다.
### 기술·메타
- 모델: Claude Opus 4.6, Claude Opus 4.7, Claude Sonnet 4.6
- API: Messages API, clear_thinking_20251015 API header
- 버전: v2.1.116 (해결 완료), v2.1.101 (버그 수정)
- 내부 문서: CLAUDE.md
- 소통 채널: X (@ClaudeDevs), GitHub
### 향후 전망
Anthropic은 이번 사태를 계기로 재발 방지를 위한 여러 개선책을 발표했습니다. 첫째, 내부 직원들이 실제 공개 빌드를 더 많이 사용하도록 하여, 개발 중인 기능과 실제 서비스 간의 격차를 줄일 계획입니다. 둘째, 내부 코드 검토 도구를 개선하고, 이 개선된 버전을 고객에게도 제공하여 투명성을 높일 것입니다. 셋째, 시스템 프롬프트 변경에 대한 통제를 강화합니다. 모든 시스템 프롬프트 변경에 대해 모델별로 광범위한 평가 스위트를 실행하고, 각 라인의 영향을 이해하기 위한 어블레이션(ablation) 테스트를 지속하며, 프롬프트 변경을 더 쉽게 검토하고 감사할 수 있는 새로운 도구를 구축할 예정입니다. 또한, 모델별 변경 사항이 해당 모델에만 적용되도록 CLAUDE.md에 지침을 추가했습니다. 지능에 영향을 미칠 수 있는 모든 변경 사항에 대해서는 '소크 기간(soak periods)', 더 광범위한 평가 스위트, 그리고 점진적 출시(gradual rollouts)를 도입하여 문제를 조기에 발견할 수 있도록 할 것입니다.
장기적으로 볼 때, 이러한 노력은 AI 모델의 안정성과 신뢰성을 높이는 업계 전반의 추세와 맞닿아 있습니다. 앞으로 AI 개발사들은 단순히 모델의 성능 향상뿐만 아니라, 예측 불가능한 행동을 줄이고, 투명한 운영 정책을 수립하며, 사용자 피드백을 시스템 개선에 적극적으로 반영하는 데 더 많은 자원을 투자할 것입니다. 규제 측면에서도 AI의 책임성과 설명 가능성에 대한 요구가 커지면서, Anthropic과 같은 선도 기업들의 이러한 투명한 접근 방식은 업계 표준을 제시하는 중요한 선례가 될 것입니다. 경쟁 구도 측면에서는, 안정적인 서비스 제공 능력이 AI 모델의 핵심 경쟁력으로 부상할 것이며, 이는 MLOps(Machine Learning Operations)와 AI 거버넌스 기술의 발전을 더욱 가속화할 것으로 예상됩니다.
📝 원문 및 참고
- 원문: [링크 열기](https://www.anthropic.com/engineering/april-23-postmortem)
- GeekNews 토픽: [보기](https://news.hada.io/topic?id=28828)
---
출처: GeekNews ([원문 링크](https://www.anthropic.com/engineering/april-23-postmortem))
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.