[GeekNews 요약] Nanbeige4.3 33B, 한국어 문서 RAG 벤치마크에서 Qwen3.8 27B 대비 성능 분석
10
설명
2026년 10월 24일 공개된 Nanbeige4.3 33B 모델의 한국어 문서 질의응답(RAG) 성능을 300문항으로 직접 채점한 결과가 공개되었습니다. 모델 카드 상에서는 Qwen3.8 27B를 능가하는 성능을 보였으나, 동일한 조건에서 진행된 자체 벤치마크에서는 다른 결과가 도출되었습니다. 본 분석은 Nanbeige4.3 33B의 실제 한국어 RAG 성능을 객관적으로 평가하고, 모델 카드 정보와의 차이점을 규명하는 데 중점을 둡니다.
### 배경 설명
최근 대규모 언어 모델(LLM)의 발전은 다양한 언어 및 작업에 대한 성능 향상을 이끌고 있습니다. 특히 한국어 LLM 분야에서는 국내외 모델들의 경쟁이 심화되고 있으며, 실제 서비스 환경에서의 성능 검증이 중요해지고 있습니다. Nanbeige4.3 33B는 에이전트 코딩 및 업무 자동화를 주요 강점으로 내세우는 모델로, 모델 카드에서는 Qwen3.8 27B와 같은 경쟁 모델 대비 우수한 성능을 주장하고 있습니다. 그러나 이러한 주장들은 특정 벤치마크 환경에서의 결과일 수 있으며, 한국어 문서 질의응답과 같은 실제 응용 시나리오에서의 성능은 별도의 검증이 필요합니다. 본 분석은 이러한 배경 하에, Nanbeige4.3 33B 모델이 한국어 문서 RAG 환경에서 어느 정도의 성능을 보이는지, 그리고 모델 카드에서 제시된 성능과의 괴리가 있는지 심층적으로 파악하고자 합니다. 이는 한국어 LLM 생태계의 투명성을 높이고, 개발자들이 모델 선택 시 보다 정확한 정보를 얻는 데 기여할 것입니다.
### 1. Nanbeige4.3 33B 모델 소개 및 벤치마크 배경
2026년 10월 24일 Hugging Face에 공개된 Nanbeige4.3 33B는 330억 개의 파라미터를 가진 오픈 소스 모델입니다. 이 모델은 Nanbeige4.3 시리즈의 '교사 모델'로서, 대규모 에이전트 모델을 개발한 후 이를 작은 모델로 증류하는 계획의 일환으로 소개되었습니다. 주요 목표 분야는 에이전트 코딩과 업무 자동화이며, Terminal-Bench, SWE-Bench Pro, Automation Bench 등에서 Qwen3.8 27B, Gemma4 31B와 비교되었습니다. 라이선스는 Apache 2.0이며, 모델 카드에는 영어와 중국어만 명시되어 한국어 지원에 대한 정보는 없습니다. 본 벤치마크는 모델 카드에서 Qwen3.8 27B를 앞선다고 제시된 Nanbeige4.3 33B의 한국어 문서 질의응답 성능을 검증하기 위해 기획되었습니다. Qwen3.8 27B는 해당 시험지에서 로컬 모델 중 최상위권 성능을 보였으며, Claude Opus 5.5와 유사한 수준으로 평가받은 바 있습니다. 따라서 이 분석은 한국어 문서 기반의 RAG 환경에서 Nanbeige4.3 33B의 실제 성능을 객관적으로 측정하고, 모델 카드 정보와의 일관성을 확인하는 데 목적이 있습니다.
### 2. 벤치마크 환경 및 측정 방법
본 벤치마크는 Allganize의 한국어 RAG 평가 데이터셋 300문항을 활용했습니다. 이 데이터셋은 금융, 공공, 의료, 법률, 커머스 등 다양한 분야의 문서를 포함하며, 근거 페이지 번호가 없는 1문항을 제외한 299문항을 대상으로 채점이 이루어졌습니다. 검색 도메인으로는 문서 전체에서 하이브리드 검색(BM25 + bge-m3)을 통해 상위 5쪽을 모든 모델에 동일하게 제공했습니다. 지시문은 '발췌만 근거로 답하고, 없으면 찾을 수 없다고 하라'는 명확한 가이드라인을 적용했습니다. 모델은 Nanbeige4.3 33B (Q4_K_S 양자화, 19.7GB)와 비교 대상인 Qwen3.8 27B (Q4_K_M 양자화, 20.8GB)를 사용했으며, RTX 3090 (24GB) GPU 환경에서 Ollama 0.40.2를 통해 실행되었습니다. 온도(temperature)는 0으로 설정하고, 문맥 길이(context length)는 16,384로, 출력 한도(output limit)는 '생각 끔' 모드 시 1,024 토큰, '생각 켬' 모드 시 8,192 토큰으로 설정했습니다. 채점은 주 채점기로 Qwen3.6 27B를 사용했으며, 이는 이전 분석에서 Allganize 판정과 88.5% 일치함을 검증한 바 있습니다. 추가적으로 두 번째 채점기로 Claude Opus 5.5를 사용하여 교차 검증을 수행했습니다. '생각 끔' 모드에서는 문항당 약 18초, '생각 켬' 모드에서는 약 41초가 소요되었습니다. RTX 3090에서의 생성 속도는 Nanbeige4.3 33B가 초당 약 38토큰, Qwen3.8 27B가 초당 약 85토큰으로 측정되었습니다.
### 3. 벤치마크 결과 및 분석
직접 채점 결과, Nanbeige4.3 33B는 '생각 끔' 모드에서 64.9%의 정답률을 보였으며, '생각 켬' 모드에서는 66.2%를 기록했습니다. 출력 한도(8,192 토큰)에 걸려 답을 제대로 생성하지 못한 29문항을 모델 카드 권장 설정으로 재실행한 결과, '생각 켬' 모드에서 70.6%의 정답률을 달성했습니다. 그러나 이는 비교 대상인 Qwen3.8 27B의 '생각 켬' 모드 정답률 77.3%보다 낮은 수치입니다. 특히, 재실행 후에도 Nanbeige4.3 33B는 Qwen3.8 27B 대비 유의미하게 낮은 성능을 보였으며, Nanbeige만 맞힌 문항은 6개, Qwen3.8 27B만 맞힌 문항은 26개였습니다(p < 0.001). Claude Opus 5.5로 재채점한 결과에서도 Nanbeige(다시 돌림) 73.2% 대 Qwen3.8 27B 80.6%로 동일한 경향이 나타났습니다. 모델 카드에서 제시된 에이전트 코딩 및 업무 자동화 관련 벤치마크에서는 Nanbeige4.3 33B가 Qwen3.8 27B를 앞서는 결과가 많았으나, 이는 한국어 문서 질의응답 성능과는 직접적인 연관이 없음을 시사합니다. 또한, '생각 끔' 모드에서 1,024 토큰 출력 한도에 걸린 92개 문항 중 상당수가 동일한 문장을 반복하는 현상이 관찰되었으며, 이는 모델의 안정성 및 효율성 측면에서 개선이 필요함을 보여줍니다.
### 4. 출력 한도 문제 및 재측정 과정
초기 벤치마크에서 Nanbeige4.3 33B는 '생각 켬' 모드에서 29문항이 8,192 토큰 출력 한도에 걸렸으며, 이 중 20문항은 답변이 비어 있었습니다. 이는 Qwen3.8 27B에서는 발생하지 않은 문제였습니다. 이러한 출력 한도 문제는 측정 결과의 신뢰성을 저해할 수 있어, 해당 29문항에 대해 별도의 재측정이 이루어졌습니다. 재측정 과정에서는 문맥 길이(16k에서 32k), 출력 한도(8,192에서 20,480 토큰), 그리고 모델 일부(약 4.2GB)를 CPU로 넘기는 등의 조건 변경이 포함되었습니다. 재실행 결과, 19개 문항이 8,192 토큰 내에서 완료되었으며, 일부 문항은 극히 적은 토큰으로도 완료되었습니다. 이는 초기 측정에서의 한도 초과가 '생각할 내용이 많아서'라기보다는 조건 변화에 따른 불안정성 때문일 가능성을 시사합니다. 또한, '생각 끔' 모드에서도 1,024 토큰 한도에 걸린 문항이 다수 발견되었으며, 이들 역시 반복적인 문장 생성을 특징으로 했습니다. 이러한 문제점을 해결하기 위해 측정 도구는 생각 내용과 종료 사유(한도 초과 또는 자체 종료)를 항상 저장하도록 수정되었으며, 보고서 상단에 한도 초과 문항 수, 빈 답 수, 반복 문장 수 등을 경고로 표시하는 기능이 추가되었습니다.
### 가치와 인사이트
본 분석은 Nanbeige4.3 33B 모델의 한국어 문서 RAG 성능에 대한 실질적인 데이터를 제공합니다. 모델 카드에서 제시된 벤치마크 결과와 실제 한국어 환경에서의 성능 간의 차이를 명확히 보여줌으로써, LLM 선택 시 객관적인 평가의 중요성을 강조합니다. 특히, 출력 한도 문제와 반복적인 문장 생성 현상은 실제 서비스 적용 시 발생할 수 있는 잠재적 이슈를 시사하며, 이를 해결하기 위한 측정 도구 개선은 향후 LLM 성능 평가의 신뢰도를 높이는 데 기여할 것입니다. 개발자들은 이 결과를 바탕으로 Nanbeige4.3 33B를 한국어 RAG 시스템에 적용할 때, 기대 성능과 실제 성능 간의 차이를 인지하고, 필요한 경우 추가적인 미세 조정이나 프롬프트 엔지니어링을 고려해야 합니다. 또한, 본 분석에서 제시된 측정 방법론은 다른 한국어 LLM의 성능을 평가하는 데에도 유용하게 활용될 수 있습니다.
### 기술·메타
* **모델명:** Nanbeige4.3 33B
* **라이선스:** Apache 2.0
* **양자화:** Q4_K_S (19.7GB)
* **비교 모델:** Qwen3.8 27B (Q4_K_M, 20.8GB)
* **하드웨어:** RTX 3090 (24GB)
* **프레임워크:** Ollama 0.40.2
* **벤치마크 데이터셋:** Allganize 한국어 RAG 평가 데이터 300문항
* **채점기:** Qwen3.6 27B, Claude Opus 5.5
* **측정 스크립트:** measure.sh, nanbeige_long.sh, nanbeige_bc.sh, nanbeige_offcard.sh, merge_rerun.py, figs_nanbeige.py
### 향후 전망
Nanbeige4.3 33B 모델의 한국어 RAG 성능은 현재 모델 카드에서 주장하는 수준에 미치지 못하는 것으로 나타났습니다. 향후 이 모델이 한국어 시장에서 경쟁력을 확보하기 위해서는 한국어 데이터셋에 대한 추가적인 학습 및 미세 조정이 필수적일 것으로 보입니다. 특히, 에이전트 코딩 및 업무 자동화라는 강점을 한국어 환경에서도 효과적으로 발휘할 수 있도록 관련 성능을 강화해야 할 것입니다. 경쟁 구도 측면에서는 Qwen 시리즈를 비롯한 다양한 한국어 LLM들이 지속적으로 발전하고 있으며, Nanbeige4.3 33B는 이들과의 경쟁에서 차별화된 전략을 모색해야 합니다. 또한, 본 분석에서 발견된 출력 한도 문제와 반복 생성 문제는 모델의 안정성 및 효율성 개선을 통해 해결해야 할 과제입니다. 향후 모델 업데이트 시 이러한 문제점들이 개선된다면, 한국어 RAG 성능 또한 향상될 가능성이 있습니다. 규제 측면에서는 아직 한국어 LLM에 대한 구체적인 규제가 명확하지 않지만, 데이터 프라이버시 및 윤리적 사용에 대한 고려는 지속적으로 중요해질 것입니다.
📝 원문 및 참고
- 원문: [링크 열기](https://bric.pe.kr/blog/nanbeige-4-3-33b-korean-rag-300-questions)
- GeekNews 토픽: [보기](https://news.hada.io/topic?id=36202)
---
출처: GeekNews ([원문 링크](https://bric.pe.kr/blog/nanbeige-4-3-33b-korean-rag-300-questions))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.