[Hacker News 요약] Kapa.ai, RAG 컨텍스트를 68% 줄여 비용 절감 및 효율성 증대
2
설명
Kapa.ai는 2026년 7월 2일, 복잡한 기술 질문에 대한 AI 답변을 제공하는 시스템에서 검색 증강 생성(RAG) 과정의 컨텍스트를 효율적으로 줄이는 새로운 방법을 발표했습니다.
이 방법은 검색된 정보의 68%를 제거하면서도 96%의 정보 검색률을 유지하여, 쿼리 비용을 약 1/3로 절감하는 효과를 가져옵니다.
이는 대규모 지식 기반을 다루는 AI 어시스턴트의 성능과 경제성을 동시에 향상시키는 중요한 발전입니다.
### 배경 설명
최근 몇 년간 대규모 언어 모델(LLM)을 활용한 AI 어시스턴트의 발전이 가속화되면서, 복잡하고 방대한 지식 기반에서 정확하고 관련성 높은 정보를 검색하고 이를 기반으로 답변을 생성하는 RAG(Retrieval-Augmented Generation) 기술이 핵심적인 역할을 하고 있습니다. 특히 기술 문서, API 레퍼런스, PDF, 포럼 등 방대한 양의 비정형 데이터를 다루는 Kapa.ai와 같은 서비스에서는 RAG의 효율성이 곧 서비스의 성능과 직결됩니다.
기존 RAG 파이프라인은 검색기(Retriever)가 질문과 관련된 문서 청크를 찾아내고, 생성기(Generator)가 이 청크들을 바탕으로 답변을 작성하는 두 단계로 구성되었습니다. 그러나 검색기는 최대한 많은 관련 정보를 '리콜(recall)'하는 데 초점을 맞추기 때문에, 생성기가 실제 답변에 필요하지 않은 불필요한 정보(노이즈)까지 함께 전달받는 경우가 많았습니다. 이러한 불필요한 컨텍스트는 LLM의 처리 비용을 증가시키는 주요 원인이었으며, 특히 생성기 모델은 입력된 모든 토큰에 대해 비용이 부과되기 때문에 그 영향이 더욱 컸습니다. Kapa.ai의 경우, 검색된 청크가 쿼리 비용의 약 2/3를 차지할 정도로 컨텍스트의 효율적인 관리가 중요한 과제였습니다. 또한, 에이전트 기반 시스템에서는 각 도구 호출의 결과가 컨텍스트에 추가되므로, 컨텍스트 크기가 빠르게 증가하여 중요한 정보를 담을 공간이 부족해지는 문제도 발생했습니다.
### 기존 RAG의 한계: 불필요한 컨텍스트와 비용 문제
기존 RAG 시스템에서 검색기는 높은 리콜률을 목표로 하지만, 이 과정에서 생성기가 실제 답변에 사용하지 않는 불필요한 정보까지 포함시키는 경우가 많았습니다. Kapa.ai의 분석에 따르면, 검색된 청크는 쿼리 비용의 약 2/3를 차지하며, 이는 답변 생성, 대화 기록, 시스템 프롬프트 등 다른 요소들을 합친 것보다 더 큰 비중을 차지합니다. 따라서 불필요한 청크를 하나 줄일 때마다 쿼리 비용이 약 4% 감소하는 효과가 있습니다. 하지만 단순히 리랭커(reranker)의 점수를 기준으로 컨텍스트를 자르는 방식은 두 가지 근본적인 문제를 안고 있었습니다. 첫째, 리랭커 점수는 상대적인 순위만을 나타낼 뿐, 절대적인 관련성을 측정하는 지표가 아니므로 고정된 임계값(cutoff)을 설정하기 어렵습니다. 둘째, 기존의 포인트별(pointwise) 리랭커는 각 청크를 개별적으로 평가하므로, 여러 청크가 함께 있을 때 비로소 의미를 가지는 부분적 또는 간접적인 관련성을 파악하지 못합니다. 예를 들어, '감사 로그'라는 단어가 직접적으로 언급되지 않더라도, 다른 청크와 결합될 때 답변의 절반을 구성하는 중요한 정보가 될 수 있습니다. 이러한 한계 때문에 단순히 리랭커 점수에 의존하는 방식으로는 효과적인 컨텍스트 압축이 어려웠습니다.
### 새로운 접근 방식: 리스트별 LLM 평가를 통한 컨텍스트 최적화
Kapa.ai는 이러한 한계를 극복하기 위해 검색기와 생성기 사이에 새로운 '프루너(pruner)' 단계를 도입했습니다. 이 프루너는 작고 비용 효율적인 LLM을 사용하여 질문과 검색된 모든 청크를 함께 읽고, 답변에 필요하지 않은 청크를 미리 제거하는 역할을 합니다. 이 프루너는 'ESSENTIAL(필수)', 'CONTRIBUTING(기여)', 'SUPPORTING(지원)', 'TANGENTIAL(관련성 낮음)', 'UNRELATED(무관)'의 다섯 가지 수준으로 각 청크의 관련성을 평가하도록 프롬프트가 설계되었습니다. 이 방식은 두 가지 주요 이점을 제공합니다. 첫째, 각 수준이 명확한 정의를 가지므로 쿼리마다 일관된 평가가 가능해져 고정된 임계값 설정이 가능해집니다. 둘째, 모델이 질문과 모든 청크를 함께 보기 때문에, 개별 청크의 관련성뿐만 아니라 청크 집합 전체의 맥락적 관련성을 판단할 수 있습니다. 이를 통해 부분적이거나 간접적으로 관련된 청크도 효과적으로 평가하고 유지할 수 있게 되었습니다. 프루너 선택 시에는 비용 효율성을 고려하여 빠르고 저렴한 모델을 사용했으며, 임계값과 'keep-top-k' 설정을 통해 압축률과 리콜률 간의 균형을 조절했습니다.
### 실험 결과: 압축률과 리콜률의 최적점 달성
Kapa.ai는 실제 질문 데이터셋을 사용하여 프루너의 성능을 측정했습니다. 실험 결과, 제안된 LLM 기반 프루너는 기존의 단순 상위 N개 청크 선택 방식(naive top-N truncation)보다 훨씬 뛰어난 성능을 보였습니다. 98%의 리콜률을 유지하면서도 약 30% 이상의 청크를 압축할 수 있었으며, 특히 관련성 점수 기반 방식은 절반에 가까운 청크를 제거하는 데 성공했습니다. 최종적으로 Kapa.ai는 약 96%의 리콜률을 유지하면서도 검색된 청크의 약 68%를 제거하는 지점을 선택했습니다. 이는 질문당 약 25개 중 1개의 필요한 청크를 놓칠 수 있지만, 컨텍스트의 2/3를 줄이고 쿼리 비용을 약 34% 절감하는 효과를 가져왔습니다. 이 프루너는 쿼리당 약 0.7초의 지연 시간을 추가하지만, 이는 생성기 모델의 응답 시간을 약간 단축시키는 효과로 일부 상쇄됩니다. 특히 에이전트 시스템에서는 여러 모델 호출이 이미 발생하므로, 추가되는 지연 시간이 미미하여 컨텍스트 공간 확보라는 이점이 훨씬 큽니다.
### 가치와 인사이트
이 연구는 RAG 시스템에서 불필요한 컨텍스트를 효과적으로 제거함으로써 LLM의 처리 비용을 대폭 절감하고 효율성을 높일 수 있음을 실증적으로 보여줍니다. 특히, 단순한 점수 기반 필터링을 넘어 LLM이 컨텍스트 전체를 이해하고 판단하는 '리스트별(listwise)' 평가 방식을 도입한 것이 핵심입니다. 이는 AI 어시스턴트가 방대한 지식 기반을 다룰 때 발생하는 비용 문제를 해결하는 데 중요한 실마리를 제공하며, 실무적으로는 AI 애플리케이션의 경제성을 개선하고 응답 속도를 향상시키는 데 직접적으로 기여할 수 있습니다. 또한, 에이전트 시스템에서 컨텍스트 관리의 중요성을 다시 한번 강조하며, 더 복잡한 작업을 수행할 수 있는 AI 에이전트 개발에 긍정적인 영향을 미칠 것입니다.
### 기술·메타
- LLM 기반 프루너
- 리스트별(Listwise) 평가 방식
- 5단계 관련성 평가 척도 (ESSENTIAL, CONTRIBUTING, SUPPORTING, TANGENTIAL, UNRELATED)
- Python (추정)
- Kapa.ai Product Agent SDK, Retrieval API, MCP Server
### 향후 전망
Kapa.ai의 프루닝 기술은 RAG 시스템의 비용 효율성을 높이는 데 크게 기여할 것으로 예상됩니다. 향후 경쟁사들도 유사한 컨텍스트 압축 기술을 도입할 가능성이 높으며, 이는 RAG 관련 기술의 발전 방향을 제시할 것입니다. Kapa.ai는 이 기술을 자사의 Product Agent SDK에 기본적으로 적용하고 있으며, Retrieval API 및 MCP 서버에도 옵션으로 제공하고 있습니다. 이는 200개 이상의 기업 고객들이 이미 Kapa.ai의 기술을 활용하고 있음을 시사하며, 향후 더 많은 기업들이 이 기술을 통해 AI 어시스턴트의 성능과 경제성을 개선할 것으로 기대됩니다. 또한, 프루너의 성능을 더욱 향상시키기 위한 연구와 함께, 다양한 LLM 모델 및 프롬프트 엔지니어링 기법을 탐색하는 커뮤니티의 노력이 이어질 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=48809354)
- 원문: [링크 열기](https://www.kapa.ai/blog/how-we-prune-rag-context)
---
출처: Hacker News · [원문 링크](https://www.kapa.ai/blog/how-we-prune-rag-context)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.