[GeekNews 요약] 로컬 LLM, 온도 0 대신 모델 카드 권장 샘플링 적용 시 RAG 성능 재평가
8
설명
로컬 LLM의 한국어 문서 질의응답(RAG) 성능을 평가할 때, 기존에 널리 사용되던 온도 0 설정이 공정하지 않다는 지적이 제기되었습니다. 이에 따라 Qwen3.8 27B와 Nanbeige4.3 33B 모델을 대상으로 모델 카드에 권장된 샘플링 설정을 적용하여 320문항의 RAG 성능을 재측정한 결과가 공개되었습니다. 이번 재측정은 LLM의 실제 활용 환경에서의 성능을 보다 정확하게 파악하는 데 중요한 시사점을 제공합니다.
### 배경 설명
대규모 언어 모델(LLM)의 성능을 평가하는 것은 모델의 실질적인 활용 가능성을 가늠하는 중요한 과정입니다. 특히 한국어 문서에 대한 질의응답(RAG) 성능은 국내 사용자들에게 직접적인 영향을 미치므로, 정확하고 공정한 평가 방법론이 요구됩니다. 기존에는 LLM의 무작위성을 제어하기 위해 '온도(temperature)' 값을 0으로 설정하는 것이 일반적이었습니다. 온도 0은 모델이 가장 확률 높은 토큰을 선택하도록 하여 일관된 답변을 생성하는 데 유리하다고 여겨졌기 때문입니다. 그러나 이러한 설정이 특정 모델의 성능을 제대로 반영하지 못할 수 있다는 의견이 제기되면서, 모델 개발사에서 제공하는 '모델 카드(model card)'에 명시된 권장 샘플링 설정을 따르는 것이 더 적절하다는 논의가 활발해졌습니다.
이번 글의 배경에는 이러한 논의가 자리 잡고 있습니다. 특히 Nanbeige4.3 33B 모델의 성능 평가 결과에 대한 Hugging Face 토론에서 Qwen3.8 27B 모델 역시 모델 카드 권장 샘플링으로 재측정해야 한다는 지적이 나왔습니다. 이는 온도 0 설정이 Qwen3.8 27B 모델의 성능을 저평가했을 가능성을 시사하며, 결과적으로 리더보드 순위에도 영향을 미칠 수 있다는 우려를 낳았습니다. 따라서 본 글에서는 이러한 의혹을 해소하고, 보다 현실적인 LLM의 한국어 RAG 성능을 파악하기 위해 두 모델 모두 모델 카드 권장 설정을 적용하여 재평가를 진행했습니다. 이는 LLM 평가 방법론의 발전과 함께, 모델 개발 및 활용에 있어 보다 신뢰할 수 있는 기준을 마련하는 데 기여할 것으로 기대됩니다.
### 1. 재측정의 배경 및 목적
기존의 한국어 문서 RAG 성능 측정에서 모든 모델을 온도 0으로 설정하여 진행했으나, Hugging Face 토론에서 Qwen3.8 27B 모델의 경우 모델 카드 권장 샘플링으로 재측정해야 한다는 지적이 제기되었습니다. 이는 온도 0 설정이 Qwen3.8 27B 모델의 성능을 제대로 반영하지 못했을 가능성을 시사하며, Nanbeige4.3 33B 모델과의 비교 결과 및 리더보드 순위에도 영향을 미칠 수 있다는 우려를 낳았습니다. 이에 따라 본 글에서는 Qwen3.8 27B와 Nanbeige4.3 33B 두 모델 모두 모델 카드에 명시된 권장 샘플링 설정을 적용하여 320문항의 한국어 문서 RAG 성능을 재측정하는 것을 목적으로 합니다. 이를 통해 LLM의 실제 활용 환경에서의 성능을 보다 정확하게 파악하고, 평가 방법론의 공정성을 확보하고자 합니다.
### 2. 재측정 결과: 정답률 변화와 출력 한도의 영향
재측정 결과, Qwen3.8 27B 모델의 경우 '생각 끔' 모드에서 71.2%에서 72.2%로, '생각 켬' 모드에서 77.3%에서 77.9%로 정답률이 소폭 상승했으나, 이는 통계적으로 유의미한 차이로 보기 어려운 수준이었습니다(p=0.68, 0.75). 즉, 모델 카드 권장 샘플링 적용이 Qwen3.8 27B 모델의 정답률에 큰 영향을 미치지 않았음을 시사합니다.
반면, Nanbeige4.3 33B 모델의 '생각 켬' 모드에서는 정답률이 66.2%에서 70.6%로 유의미하게 상승했습니다(p=0.035). 그러나 이 상승분은 샘플링 설정 변경보다는 출력 토큰 한도 및 문맥 길이 증가에 기인한 것으로 분석되었습니다. 초기 측정에서 출력 한도(8,192 토큰)로 인해 잘렸던 29문항을 제외하면, 정답률은 194개에서 196개로 거의 동일했습니다. 온도 0 설정에서 한도와 문맥만 늘려도 4개에서 15개로 정답률이 상승했으며, 이는 한도가 부족했던 것이 아니라 답변이 끝없이 길어지는 현상으로 해석되었습니다. 또한, 온도를 높일수록 끝나지 않는 답변이 늘어나는 경향도 확인되었습니다. Nanbeige 모델의 경우, 온도 0 설정에서 20,480 토큰 한도에 잘린 답변이 3개였으나, 온도를 0.6으로 높이자 10개, 1.0으로 높이자 11개로 증가했습니다. 이는 높은 온도 설정이 답변의 길이를 비정상적으로 늘릴 수 있음을 보여줍니다.
### 3. 출력 한도와 샘플링의 복합적 영향 분석
Nanbeige4.3 33B 모델에서 관찰된 정답률 상승의 주요 원인을 분석한 결과, 출력 토큰 한도와 문맥 길이의 증가는 정답률 향상에 직접적인 영향을 미쳤습니다. 온도 0 설정에서 8,192 토큰 한도에 걸렸던 29문항을 20,480 토큰 한도로 늘리자 정답률이 4개에서 15개로 크게 증가했습니다. 이는 해당 문항들에서 모델이 더 많은 정보를 생성할 수 있었음을 의미합니다. 샘플링 설정(온도, top_p 등) 변경 자체보다는 이러한 한도 확장이 성능 향상의 주된 요인이었음을 시사합니다.
더 나아가, 20,480 토큰 한도에서도 답변이 잘리는 경우가 발생했으며, 이 경우 단순히 한도가 부족해서라기보다는 모델이 생성하는 답변 자체가 끝없이 길어지는 경향을 보였습니다. 특히, 일부 답변은 동일한 줄을 반복하는 패턴을 보였으며, 이는 모델이 특정 정보를 반복하거나 루프에 빠지는 현상으로 해석될 수 있습니다. 이러한 '끝없이 길어지는 답변'은 모델의 효율성을 저하시키고, 실제 정보 추출을 방해할 수 있습니다. 한편, 온도 1.0 설정에서는 '답이 있는데 거절'하는 비율이 0.6 설정보다 높게 나타나, 높은 온도가 답변의 정확성보다는 생성량에 더 큰 영향을 미칠 수 있음을 시사했습니다. 이러한 분석은 LLM의 RAG 성능 평가 시, 단순히 샘플링 설정뿐만 아니라 출력 한도 및 문맥 길이 설정의 중요성을 강조합니다.
### 4. 측정 방법론의 변화와 향후 과제
이번 재측정을 통해 기존의 '온도 0' 중심 평가 방식에서 벗어나, '모델 카드 권장 샘플링'을 적용한 새로운 평가 기준을 제시했습니다. 이를 반영하여 리더보드에 '카드 권장 샘플링' 칸을 추가했으며, 순위는 기존과 동일하게 모든 모델이 같은 조건(온도 0)인 칸으로 매기고, 카드 설정으로 재측정한 값은 별도로 표기하는 방식을 채택했습니다. 이는 다양한 평가 기준을 제공함으로써 사용자들이 모델의 특성을 더 깊이 이해하고 선택하는 데 도움을 줄 것입니다.
하지만 이번 연구에서도 몇 가지 한계점이 존재합니다. 카드 설정에 따른 측정은 각 조건마다 한 번씩만 진행되었기 때문에 1~2%p의 미세한 차이는 순위로 해석하기 어렵습니다. 또한, '생각 켬' 모드에서는 샘플링 설정 변경과 함께 출력 한도(8,192에서 20,480 토큰) 및 문맥 길이(16,384에서 32,768)도 함께 변경되어 결과 해석에 복합적인 요인이 작용했습니다. 특히, 문맥 길이 32,768 토큰 환경에서 Nanbeige 모델은 RTX 3090(24GB) GPU 메모리 부족으로 인해 CPU 오프로딩이 발생하여 응답 속도가 현저히 느려졌습니다. 이는 실제 하드웨어 환경에서의 성능 제약을 보여주는 사례입니다. 향후에는 이러한 하드웨어 제약 조건과 다양한 샘플링 설정을 고려한 보다 정교한 평가 방법론 개발이 필요할 것으로 보입니다.
### 가치와 인사이트
이번 연구는 로컬 LLM의 한국어 문서 RAG 성능 평가에 있어 '온도 0' 설정의 한계를 명확히 보여주고, 모델 카드에 명시된 권장 샘플링 설정의 중요성을 강조합니다. 이는 LLM 사용자 및 개발자들에게 다음과 같은 실질적인 가치와 통찰을 제공합니다.
첫째, LLM의 성능을 평가할 때 특정 설정값(예: 온도 0)에만 의존하는 것이 아니라, 모델 개발사가 권장하는 최적의 샘플링 설정을 함께 고려해야 함을 시사합니다. 이는 모델의 잠재력을 최대한 발휘하고, 실제 활용 환경에서의 성능을 보다 정확하게 예측하는 데 도움을 줍니다.
둘째, 출력 토큰 한도와 문맥 길이 설정이 LLM의 RAG 성능에 미치는 영향이 샘플링 설정 못지않게 중요하다는 점을 보여줍니다. 특히, 답변이 끝없이 길어지거나 반복되는 현상은 모델의 효율성을 저하시키므로, 적절한 한도 설정과 함께 이러한 문제점을 해결하기 위한 추가적인 연구가 필요합니다.
셋째, LLM의 성능은 단순히 정답률뿐만 아니라, 답변의 일관성, 길이, 그리고 '답이 있는데 거절'하는 비율 등 다양한 측면에서 평가되어야 함을 시사합니다. 특히, 높은 온도 설정이 답변의 길이를 늘릴 수는 있지만, 반드시 정확성을 보장하지는 않으며 오히려 불필요한 반복이나 거절을 유발할 수 있다는 점은 주목할 만합니다.
결론적으로, 본 연구는 LLM의 한국어 RAG 성능 평가 방법론에 대한 중요한 논의를 촉발하며, 향후 LLM의 개발 및 활용에 있어 보다 현실적이고 신뢰할 수 있는 성능 지표를 구축하는 데 기여할 것입니다.
### 기술·메타
- 모델: Qwen3.8 27B, Nanbeige4.3 33B
- 환경: Ollama, RTX 3090
- 평가 항목: 한국어 문서 RAG 320문항
- 측정 조건: 모델 카드 권장 샘플링, 온도 0, 출력 한도, 문맥 길이
- 재현 스크립트: card_rerun_3090.sh, nanbeige_t06_3090.sh
- 데이터 분석 스크립트: card_sampling_summary.py
### 향후 전망
이번 연구는 로컬 LLM의 한국어 RAG 성능 평가 방법론에 대한 중요한 질문을 던지며, 향후 LLM 생태계에 여러 가지 영향을 미칠 것으로 예상됩니다.
첫째, LLM 평가 리더보드 및 벤치마크는 '모델 카드 권장 샘플링'을 표준 설정으로 채택하거나, 다양한 샘플링 설정을 비교 분석하는 항목을 추가할 가능성이 높습니다. 이는 사용자들에게 모델의 성능을 다각적으로 이해할 수 있는 기회를 제공하며, 모델 개발사에게는 권장 설정을 최적화하는 데 대한 동기를 부여할 것입니다. 2026년 11월 6일 기준으로 이러한 변화가 이미 시작되고 있음을 시사합니다.
둘째, LLM의 '끝없이 길어지는 답변' 또는 '반복되는 답변' 현상에 대한 연구가 더욱 활발해질 것입니다. 이는 단순히 출력 한도를 늘리는 것만으로는 해결되지 않는 근본적인 문제이며, 모델 아키텍처 개선, 학습 데이터의 질적 향상, 또는 새로운 샘플링 기법 개발 등을 통해 해결될 수 있습니다. 특히, 한국어와 같이 복잡한 언어 구조를 가진 경우 이러한 문제는 더욱 두드러질 수 있습니다.
셋째, LLM의 하드웨어 요구사항 및 최적화에 대한 논의가 심화될 것입니다. RTX 3090과 같은 소비자용 GPU 환경에서 고해상도 문맥을 처리하기 위한 효율적인 모델 경량화 기술이나, CPU-GPU 협업을 통한 성능 최적화 기술이 더욱 중요해질 것입니다. 이는 로컬 LLM의 접근성을 높이고 더 많은 사용자가 LLM을 활용할 수 있도록 하는 데 기여할 것입니다.
마지막으로, LLM의 '온도' 설정에 대한 이해가 더욱 깊어질 것입니다. 온도 0이 항상 최적은 아니며, 작업의 특성에 따라 적절한 온도를 설정하는 것이 중요하다는 인식이 확산될 것입니다. 이는 LLM을 특정 작업에 맞게 미세 조정(fine-tuning)하거나 프롬프트 엔지니어링을 수행할 때 중요한 고려 사항이 될 것입니다. 이러한 변화는 LLM이 단순한 정보 제공 도구를 넘어, 실제적인 문제 해결 능력을 갖춘 AI 비서로 발전하는 데 중요한 발판이 될 것입니다.
📝 원문 및 참고
- 원문: [링크 열기](https://bric.pe.kr/blog/model-card-sampling-vs-temperature-0-korean-rag-qwen3-8-nanbeige)
- GeekNews 토픽: [보기](https://news.hada.io/topic?id=36690)
---
출처: GeekNews ([원문 링크](https://bric.pe.kr/blog/model-card-sampling-vs-temperature-0-korean-rag-qwen3-8-nanbeige))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.