[GeekNews 요약] 로컬 LLM 4종과 Claude 2종, 도구 호출 100개 과제 5회 반복 테스트 결과 공개
2
설명
다양한 대규모 언어 모델(LLM)의 도구 호출(tool calling) 능력을 객관적으로 평가하기 위한 실험이 진행되었습니다. 특히 로컬 환경에서 구동 가능한 LLM 4종과 클라우드 기반 LLM 2종을 대상으로, 동일한 다단계 도구 호출 과제 100개를 각각 5번씩 반복 수행하며 성능을 측정했습니다. 이 실험은 클라우드 API 비용 부담과 로컬 LLM 활용 가능성을 탐색하는 과정에서 시작되었으며, 모델의 평균 성공률뿐만 아니라 '5번 모두 성공한 과제 수'라는 더 엄격한 기준을 적용하여 실질적인 신뢰도를 평가하고자 했습니다.
### 배경 설명
최근 LLM은 단순한 텍스트 생성기를 넘어, 외부 도구(API, 함수 등)를 호출하여 복잡한 작업을 수행하는 에이전트로서의 역할이 중요해지고 있습니다. 이러한 도구 호출 능력은 LLM이 실제 업무 자동화나 복잡한 문제 해결에 얼마나 효과적으로 기여할 수 있는지를 결정하는 핵심 요소입니다. 하지만 LLM의 도구 호출 성능은 모델 종류, 설정, 그리고 과제의 복잡성에 따라 크게 달라질 수 있습니다. 특히 로컬 환경에서 고성능 LLM을 구동하려는 시도가 늘어나면서, 제한된 하드웨어(예: RTX 3090 한 장)에서 어느 정도의 도구 호출 성능을 기대할 수 있는지에 대한 실증적인 데이터의 필요성이 대두되었습니다. 본 실험은 이러한 배경 하에, 공개 벤치마크인 BFCL(Berkeley Function Calling Leaderboard)의 다단계 과제를 활용하여 로컬 LLM과 클라우드 LLM의 도구 호출 일관성을 비교 분석했습니다. 이는 LLM 기반 시스템 구축 시 어떤 모델을 선택하고 어떻게 활용해야 할지에 대한 실질적인 가이드라인을 제공할 수 있습니다.
### 1. 실험 개요 및 목표
본 실험은 로컬 LLM 4종(gemma4 26B, qwen3.8 27B, LFM2.5 24B, gpt-oss 20B)과 클라우드 LLM 2종(Claude Sonnet 5.5, Claude Haiku 5.5)의 도구 호출 성능을 비교하는 것을 목표로 합니다. 특히, 동일한 다단계 도구 호출 과제 100개를 각 모델에 5번씩 반복 수행하여 '5번 모두 성공한 과제 수'를 주요 지표로 삼았습니다. 이는 한 번의 성공이 아닌, 지속적이고 안정적인 성능을 평가하기 위함입니다. 실험에는 공개 벤치마크인 BFCL v4의 다단계 과제 중 100개가 사용되었으며, 채점은 BFCL 공식 채점기(bfcl-eval 2026.3.23)를 통해 이루어졌습니다. 로컬 모델은 RTX 3090 한 장과 Ollama 0.40.13 환경에서, Claude 모델은 Anthropic API를 통해 테스트되었습니다. 실험 결과는 모델의 평균 성공률과 5번 모두 성공한 과제 수를 중심으로 분석되었습니다.
### 2. 주요 결과 및 모델별 성능 비교
실험 결과, RTX 3090 한 장에서 구동된 gemma4 26B 모델이 5번 모두 성공한 과제 수 60개로 가장 높은 성능을 보였으며, 이는 Claude Sonnet 5.5(57개)와 유사한 수준이었습니다. 평균 성공률 측면에서도 gemma4 26B는 71.4%로 가장 높았습니다. 반면, qwen3.8 27B는 한 번이라도 성공한 과제 수가 83개로 가장 많았으나, 5번 모두 성공한 과제 수는 42개에 그쳐 일관성 측면에서는 상대적으로 낮은 성능을 보였습니다. 이는 모델이 다양한 시도를 하지만, 특정 과제를 반복적으로 성공하는 데는 어려움이 있음을 시사합니다. Claude Sonnet 5.5는 평균 성공률 67.0%를 기록했으며, LFM2.5 24B는 63.8%, qwen3.8 27B는 62.8%, gpt-oss 20B는 53.8%, Claude Haiku 5.5는 52.0%의 평균 성공률을 보였습니다. 흥미롭게도, 모델이 '진행할까요?'와 같은 질문을 할 때 '예'라고 답하면 오히려 점수가 떨어지는 경향이 나타났는데, 이는 모델이 지시받은 범위를 넘어서는 작업을 수행하려다 실패하는 경우가 발생했기 때문입니다. '시킨 것만 하세요'와 같은 명확한 지시를 내렸을 때 평균 성공률은 모든 모델에서 크게 개선되지 않았습니다.
### 3. '질문'에 대한 응답 방식의 영향 분석
모델이 과제 수행 중 '진행할까요?'와 같이 사용자에게 허락을 구하는 질문을 했을 때, 이에 대한 응답 방식이 성능에 미치는 영향을 분석했습니다. 초기 실험에서 'Yes, please go ahead.'와 같이 긍정적으로 답했을 때, 일부 모델(특히 Claude Sonnet 5.5)의 성능이 저하되는 현상이 관찰되었습니다. 이는 모델이 사용자의 명시적인 지시 외에 추가적인 작업을 수행하려다 실패하는 경우 때문이었습니다. 예를 들어, 빈 문서를 생성하라는 요청에 Claude Sonnet 5.5는 5번 모두 제목과 양식을 스스로 추가하여 실패했습니다. 이러한 문제를 해결하기 위해 'Yes, go ahead with exactly what I asked. Do not do anything beyond that.'와 같이 명확하게 지시 범위를 제한하는 방식으로 응답을 수정했을 때, 평균 성공률은 큰 변화가 없었으나 '5번 다 성공한 과제 수'에서는 일부 모델에서 소폭의 변동이 있었습니다. 이 분석을 통해, 모델의 과도한 능동성이나 추측이 오히려 성능 저하의 원인이 될 수 있음을 확인했습니다. 또한, 질문을 가장 많이 한 모델은 Claude가 아닌 qwen3.8 27B와 LFM2.5였으며, gemma4 26B는 상대적으로 적은 질문을 하는 것으로 나타났습니다.
### 4. 시스템별 성능 차이 및 gemma4 26B의 강점
주요 시스템별로 모델의 성능을 분석한 결과, 모델마다 강점을 보이는 영역이 달랐습니다. gemma4 26B는 주식 거래 시스템에서는 가장 낮은 성능을 보였으나, 트위터와 유사한 게시판 시스템 및 메시지 시스템에서는 다른 모델들을 크게 앞섰습니다. 특히 게시판 과제에서 gemma4 26B는 5번 중 4번 빈 파일을 생성하는 등 지시받은 대로 정확하게 수행하는 모습을 보인 반면, Claude Sonnet 5.5는 빈 문서 생성 요청에 제목과 양식을 추가하여 실패하는 경우가 있었습니다. 이는 gemma4 26B가 불필요한 작업을 추가하지 않고 주어진 지시에 충실하게 따르는 경향이 있음을 시사합니다. 반면, Claude Sonnet 5.5는 때때로 사용자의 의도를 미리 파악하여 추가적인 작업을 수행하려다 실패하는 모습을 보였는데, 이는 상용 모델로서의 유연성을 보여주는 동시에 엄격한 평가 기준에서는 오히려 감점 요인이 될 수 있음을 나타냅니다. 이러한 시스템별 성능 차이는 향후 하이브리드 모델 활용 전략 수립에 중요한 단서를 제공합니다.
### 가치와 인사이트
본 실험은 LLM의 도구 호출 능력을 평가하는 데 있어 '평균 성공률'뿐만 아니라 '5번 모두 성공한 과제 수'와 같은 일관성 지표가 얼마나 중요한지를 명확히 보여줍니다. 특히, 로컬 환경에서 RTX 3090 한 장과 같은 제한된 하드웨어로도 gemma4 26B와 같은 모델이 Claude Sonnet 5.5와 유사한 수준의 도구 호출 성능을 달성할 수 있다는 점은 주목할 만합니다. 이는 클라우드 API 비용에 대한 부담 없이 고성능 LLM을 활용할 수 있는 가능성을 열어줍니다. 또한, 모델이 사용자의 지시를 넘어서는 작업을 수행하려 할 때 오히려 성능이 저하될 수 있다는 점은, LLM 기반 시스템 설계 시 명확하고 구체적인 프롬프트 엔지니어링의 중요성을 강조합니다. 시스템별로 모델의 강점이 다르다는 점은, 단일 모델에 의존하기보다는 각 작업의 특성에 맞는 최적의 모델을 조합하는 하이브리드 접근 방식이 효과적일 수 있음을 시사합니다. 이는 실제 서비스 개발 및 운영에 있어 비용 효율성과 성능을 동시에 최적화하는 데 기여할 수 있습니다.
### 기술·메타
* **벤치마크:** BFCL (Berkeley Function Calling Leaderboard) v4, multi_turn_base 과제 100개 (짝수 번호)
* **로컬 모델 환경:** RTX 3090, Ollama 0.40.13, 문맥 32k, 4비트 양자화 (gemma4 26B, qwen3.8 27B, LFM2.5 24B, gpt-oss 20B)
* **클라우드 모델 환경:** Anthropic API (Claude Sonnet 5.5, Claude Haiku 5.5)
* **채점기:** bfcl-eval 2026.3.23 (pip 패키지)
* **라이선스:** BFCL 과제 (Apache-2.0)
* **실험 스크립트 및 기록:** 공개 (재현 파일 제공)
### 향후 전망
이번 실험은 BFCL의 영어 다단계 과제 100개라는 특정 조건 하에서 진행되었으므로, 향후 한국어 지시나 다른 종류의 에이전트 과제에서는 결과가 달라질 수 있습니다. 또한, 5번의 반복 횟수도 충분하지 않을 수 있으며, 반복 횟수를 늘리면 '5번 모두 성공' 비율은 더 낮아질 가능성이 있습니다. 향후에는 더 다양한 언어와 복잡성을 가진 과제를 대상으로 실험을 확장하고, 모델의 설정값(예: 온도, 샘플링 방식)을 체계적으로 조정하며 성능 변화를 관찰하는 연구가 필요합니다. 또한, Claude Opus와 같이 더 고성능의 모델에 대한 비용 효율적인 테스트도 중요합니다. 새로운 LLM 모델이 출시될 때마다 이러한 도구 호출 성능 및 한국어 RAG 성능을 지속적으로 측정하고 비교하는 리더보드 구축은 LLM 생태계 발전에 기여할 것입니다. 특히, 로컬 LLM의 성능 향상은 개인 개발자나 중소기업이 고성능 AI 기술에 접근하는 데 중요한 역할을 할 것으로 기대됩니다. 규제 측면에서는 LLM의 윤리적 사용과 데이터 프라이버시 문제가 지속적으로 제기될 것이며, 이는 모델 개발 및 활용 방향에 영향을 미칠 수 있습니다.
📝 원문 및 참고
- 원문: [링크 열기](https://bric.pe.kr/blog/local-llm-tool-use-five-runs-bfcl-claude)
- GeekNews 토픽: [보기](https://news.hada.io/topic?id=36515)
---
출처: GeekNews ([원문 링크](https://bric.pe.kr/blog/local-llm-tool-use-five-runs-bfcl-claude))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.