[Techmeme 요약] Anthropic, Claude AI 성능 3배 개선… AI 협업으로 2주 만에 달성
28
설명
AI 스타트업 Anthropic은 지난 8월, 자체 개발한 AI 모델 'Claude'를 활용해 Claude.ai 웹사이트와 데스크톱 앱의 핵심 사용자 경험을 약 3배 빠르게 만드는 데 성공했다고 밝혔습니다. 이 놀라운 성과는 단 2주간의 집중적인 개발 기간 동안 AI와 개발팀이 긴밀하게 협력한 결과입니다. 이러한 속도 개선은 사용자 경험을 크게 향상시킬 것으로 기대됩니다.
### 배경 설명
Anthropic은 사용자들이 Claude.ai의 속도에 대해 제기한 피드백을 바탕으로 성능 개선에 착수했습니다. 이 과정에서 Claude 자체를 성능 최적화에 활용하는 독특한 접근 방식을 채택했습니다. 개발팀은 Claude에게 성능 병목 현상을 식별하고, 개선 방안을 제안하며, 심지어 코드 수정까지 수행하도록 지시했습니다. 이를 위해 Claude는 Datadog과 같은 도구를 통해 사용자 활동 데이터를 분석하고, 75% 백분위수 기준으로 웹사이트 로딩 시간, 대화 시작 시간, 세션 로딩 시간 등 핵심 지표를 측정했습니다. 예를 들어, Claude.ai의 초기 로딩 시간이 3.1초에서 0.55초로, Claude Code 세션 시작 시간이 0.8초에서 0.3초로 단축되었습니다. 이러한 개선은 수만 시간의 사용자 대기 시간을 절약하는 효과를 가져올 것으로 추정됩니다.
### AI와 함께하는 2주간의 성능 개선 스프린트
Anthropic은 2주간의 '스프린트(sprint)' 기간 동안 Claude를 성능 최적화 작업에 투입했습니다. 개발팀은 Claude에게 Claude.ai 웹사이트와 데스크톱 앱의 성능 관련 모든 작업을 지원하도록 지시했으며, Claude는 성능 회귀 모니터링, 데이터 분석, 개선 방안 제안, 코드 수정 등 다양한 역할을 수행했습니다. 특히, Claude는 사용자 활동 데이터를 분석하여 앱 실행, 대화 시작, 기존 대화 로딩, 메시지 전송 등 95%를 차지하는 네 가지 핵심 사용자 여정을 식별했습니다. 이를 기반으로 13가지 측정 지표를 설정하고, 각 프로젝트의 예상 성능 개선 효과를 밀리초(millisecond) 단위로 추정하여 목표를 설정했습니다. 스프린트 시작 후 3일 만에 13개 목표 중 12개를 달성했으며, 초기 계획된 프로젝트 외에도 Claude가 자체적으로 발견한 새로운 최적화 기회를 통해 목표를 초과 달성했습니다.
### 측정 가능한 것은 개선할 수 있다: Claude의 역할
이번 프로젝트의 핵심은 '측정'이 곧 '개선'으로 이어진다는 점이었습니다. Claude는 개발팀이 설정한 목표뿐만 아니라, 스스로 성능 병목 현상을 찾아내고 이를 측정할 수 있는 새로운 지표를 개발했습니다. 예를 들어, Claude는 JavaScript 명령어 수, React 커밋 수, 스타일 재계산 수, DOM 변경 수 등 다양한 지표를 활용하여 성능을 측정했습니다. 또한, '힐 클라이밍(hill climbing)' 기법을 적용하여 Claude가 특정 지표를 낮추는 방향으로 최적화를 수행하도록 유도했습니다. Claude는 이러한 과정을 통해 수천 건의 코드 변경 사항을 안전하게 적용했으며, 단 한 건의 고객 장애나 롤백(rollback)도 발생하지 않았습니다. 이는 AI가 개발 프로세스에 깊숙이 관여하여 효율성과 안정성을 동시에 높일 수 있음을 보여줍니다.
### 안전하고 신뢰할 수 있는 개선을 위한 '가드레일'
성능 개선 과정에서 발생할 수 있는 잠재적 문제를 방지하기 위해 Anthropic은 '가드레일(guardrails)'이라는 안전 장치를 마련했습니다. 모든 코드 변경 사항은 자동화된 검토와 최소 한 명의 인간 개발자 승인을 거쳤으며, 최적화 작업 전에 항상 단위 테스트가 수행되었습니다. 또한, 사용자에게 직접적인 영향을 줄 수 있는 변경 사항은 짧은 기간 동안만 활성화되는 기능 플래그(feature flag) 뒤에 숨겨 배포되었습니다. Claude는 이러한 플래그들을 관리하고, 안전하게 제거하는 역할까지 수행했습니다. 이러한 다층적인 안전 장치는 2주 동안 약 200개의 기능 플래그를 도입하고도 안정적인 서비스 운영을 가능하게 했습니다. 또한, 성능 개선 효과가 시간이 지남에 따라 퇴색되는 것을 방지하기 위해, 개선된 코드에 대한 지속적인 모니터링 및 테스트를 수행했습니다.
### 가치와 인사이트
이번 Anthropic의 사례는 AI가 단순히 콘텐츠를 생성하는 도구를 넘어, 소프트웨어 개발 및 최적화 과정에서 핵심적인 역할을 수행할 수 있음을 명확히 보여줍니다. 특히, AI 모델 자체를 활용하여 성능 문제를 진단하고 해결하는 방식은 향후 AI 기반 서비스 개발의 새로운 패러다임을 제시합니다. 개발팀과 AI가 긴밀하게 협력하여 짧은 시간 안에 가시적인 성과를 달성했다는 점은, AI의 잠재력을 최대한 활용하기 위한 협업 모델의 중요성을 강조합니다.
### 기술·메타
- Claude.ai
- Claude desktop app
- Claude Tag (beta)
- Opus 5.5 (internal research model)
- Datadog MCP server
- V8 code cache
- React
- Valgrind
- Chromium
- Node.js
- Electron
### 향후 전망
이번 성공 사례는 앞으로 AI가 소프트웨어 개발 생태계에 미칠 영향력을 시사합니다. AI는 코드 작성, 테스트, 디버깅, 성능 최적화 등 개발의 전 과정에 걸쳐 인간 개발자를 보조하거나, 특정 영역에서는 주도적인 역할을 수행할 수 있습니다. 이는 개발 속도를 비약적으로 향상시키고, 더 적은 리소스로 더 높은 품질의 소프트웨어를 개발하는 것을 가능하게 할 것입니다. 또한, 사용자 경험 개선에 대한 AI의 기여는 더욱 중요해질 것이며, 기업들은 AI를 활용하여 사용자 만족도를 높이는 데 집중할 것입니다. 규제 측면에서는 AI의 개발 참여 범위와 책임 소재에 대한 논의가 더욱 활발해질 것으로 예상됩니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/260924/p10#a260924p10)
- 원문 기사: [링크 열기](https://claude.dev/blog/how-we-made-claude-ai-faster/)
---
출처: Techmeme ([Original Article](https://claude.dev/blog/how-we-made-claude-ai-faster/))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.