[Hacker News 요약] Kepler, Claude 기반으로 금융 서비스에 검증 가능한 AI 플랫폼 구축
58
설명
Kepler Finance는 금융 서비스 분야에서 AI의 신뢰성 문제를 해결하기 위해 Anthropic의 Claude를 활용한 혁신적인 플랫폼을 구축했습니다. 이 플랫폼은 복잡한 금융 데이터를 분석하고, 모든 수치를 원본 문서의 특정 위치까지 추적하여 검증 가능성을 제공합니다. 이를 통해 금융 전문가들은 AI의 강력한 분석 능력을 활용하면서도 결과의 정확성과 감사 가능성을 확보할 수 있게 되었습니다. 본 기사는 Kepler가 어떻게 이러한 신뢰성 높은 AI 시스템을 구현했는지 상세히 설명합니다.
### 배경 설명
금융 산업은 엄격한 규제 환경과 높은 감사 요구사항으로 인해 데이터의 정확성과 출처 검증이 매우 중요합니다. 기존의 분석 도구들은 데이터를 추출할 수 있었지만, 복잡한 질의를 해석하고 다단계 검증 과정을 수행하는 데에는 여전히 인간 분석가의 개입이 필수적이었습니다. 특히 AI 시스템은 해석과 계산을 동시에 처리하면서 모델 자체의 오류 가능성 때문에 결과에 대한 신뢰성 확보가 어려웠습니다. 이러한 배경 속에서, Palantir 출신의 Vinoo Ganesh와 John McRaven은 147개 금융 기관과의 인터뷰를 통해 AI 결과에 대한 '감사 불가능성'이 가장 큰 걸림돌임을 파악했습니다.
Kepler는 이러한 문제를 해결하기 위해 AI의 추론 능력과 함께 '신뢰 및 검증 레이어'를 제공하는 결정론적 인프라를 구축했습니다. 이는 AI가 생성하는 답변의 출처를 명확히 하고, 모든 수치를 원본 SEC 공시, 실적 발표 자료 등에서 정확한 페이지와 줄 번호까지 추적할 수 있도록 함으로써 금융 전문가들이 AI를 신뢰하고 활용할 수 있는 기반을 마련했습니다. 금융 분야의 높은 정확도 요구사항을 충족시키기 위한 이러한 접근 방식은 AI 기술이 실제 산업 현장에서 직면하는 핵심적인 신뢰 문제를 해결하는 중요한 사례로 주목받고 있습니다.
### 금융 AI의 신뢰성 문제와 Kepler의 해법
금융 산업의 엄격한 규제와 감사 요구사항 속에서 AI 도입의 가장 큰 걸림돌은 결과의 신뢰성과 검증 가능성이었습니다. 기존 AI는 복잡한 다단계 분석에서 오류를 범하거나 출처를 명확히 제시하지 못하는 한계가 있었습니다. Kepler는 이러한 문제를 해결하기 위해 AI의 추론 능력과 별개로, 모든 데이터와 계산 결과를 원본 문서의 특정 위치까지 추적하여 검증할 수 있는 '신뢰 및 검증 레이어'를 구축했습니다. 이는 금융 전문가들이 AI의 분석 결과를 안심하고 활용할 수 있는 기반을 제공합니다.
### Claude의 다단계 추론 및 모호성 처리 능력
Kepler는 복잡한 금융 분석 작업에 필요한 장기적인 계획 유지, 모호성 처리 능력 등을 평가하기 위해 다양한 최신 AI 모델을 벤치마킹했습니다. 그 결과, Claude가 다단계 작업에서 일관되게 계획을 유지하고 제약 조건을 놓치지 않는다는 점을 발견했습니다. 특히, 용어의 모호성이 발생할 경우 다른 모델들이 임의로 선택하고 진행하는 반면, Claude는 사용자에게 질문하여 결정을 요청하는 방식으로 '인간 개입(human-in-the-loop)'을 유도했습니다. 이는 금융 분석에서 초기 단계의 잘못된 가정이 전체 결과에 치명적인 영향을 미칠 수 있음을 고려할 때 매우 중요한 차별점이었습니다.
### Claude 활용을 위한 엔지니어링 전략
Kepler 팀은 Claude의 성능을 극대화하기 위해 '프롬프트 엔지니어링'을 넘어 '콘텐츠 엔지니어링'에 집중했습니다. 이는 Claude를 파이프라인의 한 단계로 보고, 각 단계에서 모델이 성공하는 데 필요한 정확한 정보와 구조화된 도메인 지식을 제공하는 것을 의미합니다. 구체적으로, 검증 가능한 연산(예: 비율 계산, 회계 기간 해결)을 위해 Claude가 호출할 수 있는 결정론적 실행 환경을 구축하고, 금융 개념을 정확한 정의와 공식에 매핑하는 독점 온톨로지를 개발했습니다. 또한, 복잡한 자본 구조 계산 등 일반적인 워크플로우를 위한 재사용 가능한 '스킬'을 만들고, Opus와 Sonnet 모델을 복잡한 추론과 고처리량 작업에 각각 매칭하는 다단계 파이프라인을 구성했습니다. 이와 함께 수천 건의 테스트 케이스를 통한 자동화된 평가 파이프라인을 구축하여 모델의 추론, 컨텍스트, 실행 단계별 오류를 추적하고 신속하게 개선합니다.
### 대규모 데이터 처리 및 확장성
Kepler Finance는 27개 글로벌 시장에 걸쳐 2,600만 건 이상의 SEC 공시 자료, 5,000만 건 이상의 공개 문서, 100만 건 이상의 비공개 문서를 인덱싱했습니다. Claude는 이 방대한 비정형 데이터를 해석하고, 기업 및 기간별 용어 차이를 조정하여 사용자가 질문에 대한 답변을 얻을 수 있도록 돕습니다. Kepler의 검색 레이어는 검증된 SEC 공시에서 수치를 추출하고 계산한 뒤, 결과를 Excel 템플릿으로 제공하며, 사용자는 클릭 한 번으로 각 숫자의 출처를 원본 문서의 정확한 줄까지 추적할 수 있습니다. 이러한 아키텍처는 Claude의 추론 능력과 Kepler의 결정론적 인프라를 분리하여 소규모 팀으로도 대규모 시스템을 구축하고 빠르게 새로운 기능을 개발할 수 있게 합니다.
### 가치와 인사이트
Kepler의 사례는 AI가 높은 정확도와 신뢰성이 요구되는 금융과 같은 규제 산업에서 어떻게 성공적으로 적용될 수 있는지를 보여줍니다. 특히, AI 모델 자체의 한계를 인정하고, 이를 보완하기 위한 결정론적 인프라와 엄격한 검증 프로세스를 결합한 접근 방식은 AI 도입을 망설이는 다른 산업 분야에도 중요한 시사점을 제공합니다. '인간 개입(human-in-the-loop)'을 설계에 포함하고, 모델의 추론과 시스템의 검증을 분리하는 전략은 AI의 '환각(hallucination)' 문제를 극복하고 실제 비즈니스 가치를 창출하는 데 필수적입니다. 이는 단순히 AI 모델의 성능을 높이는 것을 넘어, AI 시스템 전체의 신뢰성과 감사 가능성을 확보하는 것이 중요하다는 점을 강조합니다.
### 기술·메타
- AWS
- Rust
- Python
- Containers for orchestration
- Anthropic Claude (Opus, Sonnet)
### 향후 전망
Kepler는 금융 서비스에서 얻은 성공을 바탕으로 헬스케어, 법률 등 대규모 문서 컬렉션에서 검증 가능한 답변이 필요한 다른 산업 분야로 확장을 계획하고 있습니다. 이는 금융 분야에서 구축된 엄격한 검증 아키텍처가 다양한 도메인에 적용될 수 있음을 시사합니다. 향후 AI 기술이 더욱 발전함에 따라, Kepler와 같은 '검증 가능한 AI' 솔루션은 산업 전반에 걸쳐 AI 도입의 신뢰 장벽을 낮추고 혁신을 가속화하는 핵심 요소가 될 것입니다. 경쟁 측면에서는 유사한 '신뢰 레이어'를 제공하는 AI 스타트업들이 등장할 수 있으며, Anthropic과 같은 LLM 제공업체들은 이러한 파트너십을 통해 자사 모델의 산업별 적용 사례를 확대하고 시장 지배력을 강화할 것으로 예상됩니다. 또한, AI 규제가 강화될수록 Kepler와 같은 검증 및 감사 기능을 내재화한 플랫폼의 중요성은 더욱 커질 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=47999754)
- 원문: [링크 열기](https://claude.com/blog/how-kepler-built-verifiable-ai-for-financial-services-with-claude)
---
출처: Hacker News · [원문 링크](https://claude.com/blog/how-kepler-built-verifiable-ai-for-financial-services-with-claude)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.