[Hacker News 요약] 오픈소스 모델, 100배 저렴하게 GPT-5.6 Sol 수준의 검색 성능 달성
0
설명
2026년 8월 5일, Castform과 Neon은 협력하여 40억 개의 매개변수를 가진 오픈소스 모델을 GPT-5.6 Sol과 동등한 검색 정확도를 가지도록 100배 저렴한 비용으로 훈련시키는 데 성공했습니다.
이 기술은 기존의 대규모 언어 모델(LLM) 기반 에이전트 검색의 높은 비용과 지연 시간 문제를 해결할 잠재력을 보여줍니다.
이는 개발자들이 자체 데이터를 활용하여 강력한 AI 에이전트를 더 쉽게 구축할 수 있는 길을 열어줍니다.
### 배경 설명
최근 AI 에이전트 분야에서는 LLM이 외부 데이터를 참조하여 더 정확하고 유용한 답변을 생성하는 RAG(Retrieval-Augmented Generation) 기술이 핵심으로 부상했습니다. 초기에는 임베딩 검색이 주를 이루었으나, 2025년경부터는 에이전트가 여러 단계에 걸쳐 정보를 검색하고 추론하는 멀티홉 검색 워크플로우가 주목받기 시작했습니다. 그러나 이러한 복잡한 검색 과정은 GPT-5.6 Sol과 같은 최첨단 모델을 반복적으로 호출해야 하므로, 사용자 요청당 10초 이상 소요되고 약 0.03달러의 비용이 발생하는 등 높은 비용과 지연 시간이라는 치명적인 단점을 안고 있었습니다. 반면, 40억 개의 매개변수를 가진 오픈소스 모델은 100배 이상 저렴하지만, 기본 성능은 최첨단 모델에 미치지 못했습니다. 이러한 간극을 메우기 위해, Castform은 RL(강화 학습) 기반의 후처리 훈련 기법을 도입하여 오픈소스 모델의 성능을 최첨단 모델 수준으로 끌어올리는 솔루션을 개발했습니다. Neon의 Lakebase Postgres와 같은 효율적인 데이터 인프라와의 결합은 이러한 오픈소스 모델의 잠재력을 극대화하는 데 중요한 역할을 합니다.
### Castform과 Neon의 협력 모델
Castform은 자체 개발한 RL 후처리 훈련 파이프라인을 통해 오픈소스 모델을 강화합니다. 이 과정에서 Neon의 Lakebase Postgres는 코퍼스 저장소, 합성 데이터 생성, RL 훈련, 그리고 최종 추론 단계에 이르기까지 모든 검색 도구 호출을 지원하는 핵심 인프라 역할을 수행합니다. 특히, Neon의 Lakebase Search는 텍스트와 벡터 검색을 하이브리드 방식으로 결합하여 검색 성능을 최적화하며, 이는 Castform의 훈련 과정과 최종 모델의 추론 성능 모두에 직접적인 영향을 미칩니다. Castform은 기업의 방대한 내부 데이터(문서, 제품 기록, 고객 상호작용 등)를 활용하여 RAG 파이프라인에 필요한 작업(Task), 환경(Environment), 보상 함수(Reward Function)를 자동으로 생성하고, 이를 기반으로 강화 학습 루프를 실행합니다. 이를 통해 개발자는 복잡한 머신러닝 및 GPU 인프라 관리 없이도 자체 데이터에 최적화된 AI 모델을 구축할 수 있습니다.
### 에이전트 검색의 진화와 비용 문제
2022년경에는 임베딩 검색이 주류였으며, Neon의 pgvector 확장 기능이 높은 인기를 누렸습니다. 당시 엔지니어들은 LLM에 컨텍스트를 제공하기 위해 RAG 파이프라인을 수작업으로 구축했습니다. 2025년경부터 에이전트의 중요성이 부각되면서, 복잡한 문제를 작은 단위로 분해하여 여러 번의 검색을 수행하는 멀티홉 검색 워크플로우가 등장했습니다. 하지만 이 방식은 GPT-5.6 Sol과 같은 최첨단 모델을 반복적으로 호출해야 하므로, 사용자 요청당 10초 이상의 지연 시간과 약 0.03달러의 높은 비용을 발생시켰습니다. 이는 실시간 서비스나 대규모 사용자에게 서비스를 제공하는 데 큰 제약이 되었습니다. 반면, 40억 개의 매개변수를 가진 오픈소스 모델은 훨씬 저렴하지만, 기본 성능이 부족했습니다. Castform은 이러한 문제를 해결하기 위해, 오픈소스 모델이 특정 작업(예: 검색)에서 최첨단 모델과 동등하거나 그 이상의 성능을 발휘하도록 RL 후처리 훈련을 수행합니다.
### Castform의 RL 후처리 훈련 방식
Castform은 기존 데이터를 활용하여 AI 모델을 훈련시키는 과정을 단순화합니다. 예를 들어, 'Navan에서 기차표를 예약할 때 필요한 예약 시간과 좌석 등급 규칙'이라는 정보를 기반으로, 'Navan에서 기차표를 예약할 때, 얼마나 미리 예약해야 하며 어떤 좌석 등급을 선택해야 하는가?'와 같은 질문을 합성적으로 생성합니다. 이 질문-답변 데이터셋을 바탕으로, Castform은 에이전트가 접근할 수 있는 도구(예: Neon의 Lakebase Search)와 보상 함수를 지정하여 훈련을 진행합니다. 보상 함수는 모델이 올바른 청크를 검색하고, 정확한 출처를 인용하며, 최종적으로 올바른 답변을 제공하는지를 평가합니다. 이 과정을 통해 모델은 시행착오를 거치며 최적의 성능을 향해 나아갑니다. Castform은 훈련 과정 전반에 대한 관찰 기능을 제공하여, 보상 증가 추이를 모니터링하고 개별 작업의 성능을 정성적으로 분석하여 문제를 디버깅할 수 있도록 지원합니다.
### Neon 인프라의 이점
Neon의 Lakebase Postgres는 Castform의 훈련 과정에서 발생하는 버스티(bursty) 워크로드를 효과적으로 처리합니다. 수천 개의 병렬 훈련 작업이 동시에 Lakebase Search를 반복적으로 호출할 때, Neon의 동적 컴퓨팅 스케일링 기능은 최대 용량을 상시 프로비저닝할 필요 없이 이러한 피크를 흡수합니다. 이를 통해 훈련 시 낮은 지연 시간의 검색을 보장하며, 유휴 시간에는 컴퓨팅 자원을 축소하여 비용 효율성을 높입니다. 또한, 에이전트가 데이터를 수정하는 기능까지 확장될 경우, Neon의 브랜칭 기능은 각 훈련 롤아웃에 격리된 데이터베이스 상태를 제공하고, 타임 트래블 쿼리는 에이전트가 마주한 상태를 재구성하고 검사할 수 있게 합니다. 이러한 기능들은 수천 개의 상태 저장 에이전트 롤아웃을 지속적으로 실행되는 환경 없이도 훈련할 수 있는 경로를 제공합니다.
### 가치와 인사이트
이 기술은 LLM 기반 에이전트 개발의 비용 장벽을 크게 낮춥니다. 기존의 최첨단 모델을 사용했을 때 발생하는 높은 비용과 지연 시간 문제를 오픈소스 모델과 효율적인 훈련 기법을 통해 해결함으로써, 더 많은 개발자와 기업이 강력한 AI 에이전트를 구축하고 활용할 수 있게 됩니다. 특히, 자체 데이터를 활용하여 맞춤형 모델을 훈련시키는 능력은 특정 산업 분야나 기업의 고유한 요구사항을 충족시키는 데 중요한 역할을 할 것입니다. 이는 AI 에이전트의 실질적인 적용 범위를 넓히고, AI 기술의 민주화에 기여할 것으로 기대됩니다.
### 기술·메타
- 모델 크기: 4B (40억 개 매개변수)
- 훈련 기법: RL 후처리 (Reinforcement Learning Post-training)
- 데이터베이스: Neon (Lakebase Postgres)
- 검색 기술: Lakebase Search (텍스트, 벡터, 하이브리드 검색)
- 발표일: 2026년 8월 5일
### 향후 전망
Castform과 Neon의 협력은 오픈소스 LLM의 가능성을 재확인시켜주며, 향후 AI 에이전트 시장의 경쟁 구도에 영향을 미칠 수 있습니다. 더 저렴하고 효율적인 모델 훈련 솔루션의 등장은 기존의 독점적인 최첨단 모델 제공업체들에게 새로운 도전을 제시할 것입니다. 또한, 이러한 기술은 에이전트가 데이터를 검색하는 것을 넘어 수정하고 상호작용하는 복잡한 작업으로 확장될 때 더욱 중요해질 것입니다. Neon의 브랜칭 및 타임 트래블 기능과 같은 인프라 지원은 상태 저장 에이전트 훈련의 복잡성을 줄여주어, 향후 에이전트 개발 커뮤니티의 혁신을 촉진할 것으로 예상됩니다. 2026년 8월 5일 발표된 이 기술은 지속적인 연구 개발을 통해 더욱 발전할 가능성이 높습니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=49186762)
- 원문: [링크 열기](https://neon.com/blog/how-castform-neon-beats-frontier-models-on-price-and-efficiency)
---
출처: Hacker News · [원문 링크](https://neon.com/blog/how-castform-neon-beats-frontier-models-on-price-and-efficiency)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.