[Techmeme 요약] 최신 Claude AI 모델, 구형 모델보다 도구 호출 기능에서 오류 발생 빈도 높아져
40
설명
최신 Claude AI 모델인 Opus 4.8과 Sonnet 5가 이전 모델보다 도구 호출(tool calls) 기능에서 더 많은 오류를 일으키는 것으로 나타났습니다. 이는 모델의 후처리 학습 과정에서 특정 도구 호출 형식을 목표로 삼으면서 발생한 문제로 추정됩니다. 이 문제는 AI가 외부 도구를 활용하여 작업을 수행하는 방식에 대한 중요한 시사점을 던집니다.
### 배경 설명
대규모 언어 모델(LLM)은 텍스트를 이해하고 생성하는 능력을 넘어, 외부 도구나 API를 호출하여 실제 작업을 수행하는 방향으로 발전하고 있습니다. 이를 '도구 호출(tool calls)'이라고 합니다. 예를 들어, AI가 날씨 정보를 얻기 위해 날씨 API를 호출하거나, 파일을 수정하기 위해 편집 도구를 사용하는 식입니다. 이러한 도구 호출은 AI의 활용 범위를 크게 확장시키는 핵심 기능입니다.
AI 모델은 주어진 지침과 사용 가능한 도구 목록을 바탕으로 특정 형식의 명령을 생성합니다. 이 명령은 API 서버나 클라이언트에 의해 해석되어 해당 도구가 실행됩니다. 성공적인 도구 호출을 위해서는 모델이 생성하는 명령의 구조와 내용이 도구의 요구사항(스키마, schema)과 정확히 일치해야 합니다. 만약 모델이 잘못된 형식의 명령을 생성하면, 도구는 이를 인식하지 못하고 오류를 반환하며, AI는 다시 시도하게 됩니다.
이 글에서 언급된 'Pi'는 이러한 도구 호출 기능을 활용하는 시스템으로 보이며, 'Claude Opus 4.8'과 'Claude Sonnet 5'는 Anthropic에서 개발한 최신 대규모 언어 모델입니다. 'Armin Ronacher'는 이 글의 저자이자 해당 분야의 전문가입니다. 그는 2026년 7월 4일에 이 문제를 처음 발견하고 분석했습니다.
### 최신 Claude 모델의 도구 호출 오류 현상
저자는 최신 Claude 모델인 Opus 4.8과 Sonnet 5가 Pi의 편집 도구를 호출할 때, 기존 모델에서는 발생하지 않던 오류를 보인다고 지적합니다. 구체적으로, 모델이 편집 도구에 전달하는 데이터 구조(edits[] 배열)에 스키마에 존재하지 않는 추가적인 필드를 임의로 생성하여 포함시키는 문제가 발생합니다. 예를 들어, `requireUnique`, `oldText2`, `newText2`와 같은 예상치 못한 키(key)들이 나타납니다. 이러한 잘못된 호출은 Pi 시스템에 의해 거부되며, AI는 다시 시도를 요청받게 됩니다. 흥미로운 점은 이러한 오류가 최신 모델에서 더 빈번하게 발생하며, 이전 모델에서는 발견되지 않았다는 것입니다. 이는 최신 모델이 특정 도구 호출 형식에 더 최적화되면서 오히려 유연성이 떨어진 것으로 해석될 수 있습니다.
### 도구 호출의 작동 방식과 오류 발생 원인
도구 호출은 본질적으로 모델이 생성하는 텍스트의 일부로 간주됩니다. 모델은 시스템 프롬프트와 사용 가능한 도구 목록을 기반으로, 특별한 마커 토큰(marker tokens)이 포함된 긴 프롬프트에 대한 응답으로 도구 호출을 생성합니다. 이 과정에서 모델은 특정 형식의 출력을 학습하며, API는 이 출력을 '이 도구를 이 인수로 호출하라'는 명령으로 해석합니다.
오류의 근본적인 원인으로 저자는 '후처리 학습(post-training)'을 지목합니다. 최신 Claude 모델은 'Claude Code'와 같이 특정 도구 호출 환경을 모방한 시스템을 대상으로 후처리 학습을 받았을 가능성이 높습니다. 이 환경은 자체적으로 잘못된 도구 호출을 수정하거나, 예상치 못한 매개변수를 무시하는 등 오류를 허용하는 경향이 있습니다. 따라서 모델은 이러한 환경에서 성공적인 도구 호출을 학습하면서, 실제 다른 환경(예: Pi)의 엄격한 스키마를 따르는 데 어려움을 겪게 되는 것입니다. 즉, 특정 환경에 과도하게 최적화된 모델이 다른 환경에서는 오히려 성능이 저하되는 현상입니다.
### Anthropic의 'Claude Code'와 유연한 도구 처리
Anthropic의 내부 도구인 'Claude Code'는 모델이 생성한 도구 호출에 대해 매우 관대한 것으로 보입니다. 코드 분석 결과, Claude Code는 잘못된 형식의 호출에 대한 재시도 메커니즘, 매개변수 별칭(alias) 지원, 타입 변환, 유니코드(Unicode) 문자열 복구, 알 수 없는 키 필터링 등 다양한 오류 처리 기능을 갖추고 있습니다. 이는 모델이 생성한 약간의 '슬롭(slop, 불완전함)'을 흡수하여 작업을 성공적으로 완료하도록 돕습니다. 이러한 환경에서의 강화 학습(reinforcement learning)은 모델이 스키마에 맞지 않는 필드를 추가하거나 매개변수 이름을 잘못 사용하는 것에 대해 '그래디언트(gradient, 학습 신호)'를 거의 받지 않게 만듭니다. 결과적으로, Claude Code의 도구 스키마는 Pi와 같이 더 엄격한 스키마를 가진 시스템과 차이가 있어, 최신 Claude 모델이 이러한 차이에 적응하는 데 어려움을 겪는 것으로 보입니다.
### 가치와 인사이트
이 문제는 최신 AI 모델의 '일반화 능력'과 '특정 환경 적응성' 사이의 균형에 대한 중요한 질문을 던집니다. AI 모델이 특정 도구 호출 환경에 과도하게 최적화될 경우, 다른 환경에서는 오히려 성능이 저하될 수 있다는 것을 보여줍니다. 이는 AI 개발 및 배포 시, 모델이 다양한 시나리오와 도구 스키마에 얼마나 유연하게 적응할 수 있는지를 신중하게 평가해야 함을 시사합니다. 또한, AI 모델의 학습 과정과 내부 작동 방식에 대한 투명성이 부족할 경우, 이러한 문제를 진단하고 해결하는 데 어려움이 따를 수 있음을 보여줍니다.
### 향후 전망
이러한 현상이 지속된다면, AI 모델 개발은 특정 플랫폼이나 도구 생태계에 종속될 위험이 있습니다. 개발자들은 AI 모델이 다양한 도구 스키마와 상호작용할 때 발생할 수 있는 잠재적 문제를 인지하고, 모델의 '엄격 모드(strict mode)' 활성화와 같은 방어 메커니즘을 고려해야 할 것입니다. 또한, AI 모델 제공업체들은 모델의 학습 과정과 후처리 학습 환경에 대한 더 많은 투명성을 제공하여, 사용자들이 모델의 행동을 더 잘 이해하고 예측할 수 있도록 지원해야 합니다. 장기적으로는, AI 모델이 특정 도구 호출 형식에 덜 민감하고, 더 추상적인 수준에서 도구의 의미를 이해하고 활용할 수 있도록 하는 방향으로 연구가 진행될 것으로 예상됩니다. 이는 AI가 더욱 폭넓고 다양한 애플리케이션에서 안정적으로 작동하는 데 필수적입니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/260706/p4#a260706p4)
- 원문 기사: [링크 열기](https://lucumr.pocoo.org/2026/7/4/better-models-worse-tools/)
---
출처: Techmeme ([Original Article](https://lucumr.pocoo.org/2026/7/4/better-models-worse-tools/))
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.