[GeekNews 요약] LambdaDB, 그래프 및 LLM 없이 95% 토큰 절감하는 AI 메모리 구현
2
설명
대화가 길어질수록 전체 기록을 전송하는 데 드는 토큰 비용과 응답 속도 저하가 문제가 되고 있습니다. LambdaDB는 이러한 문제를 해결하기 위해 그래프나 LLM 북키핑 없이 AI 메모리를 구현하는 새로운 파이프라인을 개발했습니다. 이 기술은 2026년 10월 25일에 발표되었으며, LongMemEval에서 95% 이상의 토큰 절감 효과를 보였습니다.
### 배경 설명
AI 모델과의 대화가 길어지면서 발생하는 토큰 비용 증가는 LLM 기반 서비스의 확장성에 큰 제약이 되어왔습니다. 특히, 대화 기록이 길어질수록 모델의 컨텍스트 창을 초과하여 이전 정보를 잃어버리거나, 관련 없는 정보가 섞여 모델의 응답 품질이 저하되는 문제가 발생했습니다. 이러한 문제를 해결하기 위해 기존에는 지식 그래프를 구축하거나 LLM을 활용하여 메모리를 관리하는 방식이 시도되었으나, 이는 추가적인 컴퓨팅 자원과 비용을 요구했습니다.
LambdaDB가 제안하는 방식은 ETL(Extract, Transform, Load)에서 ELT(Extract, Load, Transform)로의 전환과 유사합니다. 즉, 원본 데이터를 최대한 보존하고, 필요할 때 변환 및 활용하는 접근 방식입니다. 이는 저렴해진 클라우드 스토리지 및 처리 비용 덕분에 실현 가능해졌으며, AI 메모리 분야에서도 동일한 경제성을 확보하는 것이 중요합니다. 특히, 미래의 자연어 질문은 예측 불가능하므로 원본 단어, 출처, 타임스탬프를 그대로 보존하는 것이 해석의 유연성을 높입니다.
이러한 맥락에서 LambdaDB의 접근 방식은 기존의 메모리 관리 방식에 대한 새로운 대안을 제시하며, 특히 SillyTavern과 같은 AI 캐릭터 채팅 플랫폼에 적용될 수 있는 SillyMemory 확장 기능을 통해 실질적인 활용 가능성을 보여주고 있습니다.
### 1. LambdaDB AI 메모리 파이프라인의 작동 방식
LambdaDB의 AI 메모리 파이프라인은 세 가지 주요 단계로 구성됩니다. 첫째, 원본 대화 텍스트를 청크로 분할하고 LambdaDB 네이티브 임베딩을 사용하여 벡터를 생성 및 저장합니다. 이 과정에서 별도의 LLM을 사용하여 개체 추출, 관계 추론, 충돌 해결 또는 메모리 요약과 같은 작업을 수행하지 않습니다. 둘째, 사용자의 질문을 텍스트로 받아 쿼리 벡터를 생성하고, 베이지안 하이브리드 검색과 Jev 기반 네이티브 랭킹을 통해 관련성 높은 소스 구절을 검색합니다. 이 모든 과정은 클라이언트 측에서 별도의 벡터 생성이나 추론 호출 없이 처리됩니다. 셋째, 검색된 구절을 답변 모델에 전달하여 최종 답변을 생성합니다. LambdaDB는 지속적인 스토리지와 검색 기능을 제공하며, 인덱싱 및 검색 컴퓨팅을 독립적으로 확장할 수 있습니다.
### 2. LongMemEval에서의 성능 및 비용 효율성
LambdaDB 파이프라인은 LongMemEval 데이터셋의 500개 질문에 대해 96.0%의 정확도를 기록했으며, 이는 전체 기록을 사용하는 경우의 95.2%와 거의 동등한 수준입니다. 하지만 평균 답변 입력 토큰 수는 105,183개에서 4,886개로 95% 이상 감소했습니다. 또한, 초기 메모리 준비, 검색, 답변 생성 및 LambdaDB 사용을 포함한 총 실행 비용은 500개 사례에 대해 7.51~9.42달러로, 전체 기록을 사용하는 경우의 105.53달러보다 약 91~93% 낮았습니다. 이는 기존의 요약 기반 방식보다 훨씬 경제적인 결과를 보여줍니다.
### 3. 대화 분기 및 복원 기능
LambdaDB의 데이터 버전 관리 기능은 대화의 분기 및 체크포인트 복원을 지원합니다. 각 대화 경로는 LambdaDB의 브랜치로 매핑되며, 공유되는 이전 기록은 재임베딩 없이 재사용됩니다. 이를 통해 500개 메시지 복원 시, 빌트인 벡터 스토리지 방식이 약 2.4분 걸리는 반면 SillyMemory는 약 1초 만에 메모리 준비를 완료할 수 있습니다. LambdaDB 브랜치 생성 자체는 64~77ms 내외로 매우 빠릅니다. 이러한 기능은 SillyTavern과 같은 플랫폼에서 사용자가 다양한 대화 경로를 탐색하고 이전 상태로 쉽게 복원할 수 있도록 지원합니다.
### 4. SillyTavern과의 통합 및 활용
LambdaDB의 기술은 SillyMemory라는 오픈 소스 확장 기능을 통해 SillyTavern에 통합되었습니다. 사용자는 SillyTavern 설치 가이드에 따라 SillyMemory를 설치하고 LambdaDB 프로젝트 설정, API 키 연동을 통해 이 파이프라인을 자신의 대화에 적용할 수 있습니다. 이를 통해 이전 대화 내용을 기반으로 정확하고 비용 효율적인 답변을 얻을 수 있으며, 대화 분기 및 복원 기능을 통해 더욱 풍부한 상호작용 경험을 할 수 있습니다. SillyMemory는 소스 동기화 및 프롬프트 조립을 확장 기능에서 처리하며, LambdaDB의 기본 임베딩 및 네이티브 랭킹 가이드를 통해 자체 어시스턴트에 메모리 기능을 구축할 수도 있습니다.
### 가치와 인사이트
LambdaDB의 AI 메모리 구현은 LLM 기반 서비스의 확장성 문제를 해결하는 데 중요한 기여를 합니다. 95% 이상의 토큰 절감과 90% 이상의 비용 절감 효과는 대규모 언어 모델을 활용하는 서비스의 경제성을 크게 향상시킬 수 있습니다. 특히, 그래프나 별도의 LLM 없이 원본 텍스트를 보존하고 검색하는 방식은 기술적 복잡성과 운영 비용을 낮추면서도 높은 수준의 답변 품질을 유지할 수 있다는 점에서 실무적으로 큰 가치를 지닙니다. 또한, 대화 분기 및 복원 기능은 사용자 경험을 향상시키고, AI 캐릭터와의 상호작용을 더욱 몰입감 있게 만들 수 있습니다. 이는 AI 챗봇, 가상 비서, 교육용 AI 등 다양한 분야에서 장기 기억이 필요한 애플리케이션에 적용될 수 있는 실질적인 솔루션을 제공합니다.
### 기술·메타
* **기술 스택**: LambdaDB, SillyMemory, SillyTavern, Jev, text-embedding-3-small, gpt-6.1-sol, gpt-5.6-luna
* **라이선스**: 오픈 소스 (SillyMemory)
* **저장소**: https://github.com/lambdadb/SillyMemory
### 향후 전망
LambdaDB의 기술은 AI 메모리 분야에서 중요한 이정표를 제시하지만, 향후 몇 가지 변수를 고려해야 합니다. 첫째, 경쟁 구도 측면에서 다른 기업들도 유사한 저비용, 고효율 메모리 솔루션을 개발할 가능성이 있습니다. 둘째, LLM 자체의 발전 속도에 따라 컨텍스트 창 크기가 늘어나거나 새로운 메모리 관리 기법이 등장할 수 있습니다. 셋째, 데이터 프라이버시 및 보안 규제가 강화될 경우, 원본 데이터를 저장하고 처리하는 방식에 대한 추가적인 검토가 필요할 수 있습니다.
LambdaDB는 'Extract, Load, Think'라는 다음 단계를 목표로 하고 있으며, 이는 소규모 모델을 활용하여 쿼리를 재작성하고 검색을 재시도하는 등 더 나은 세션 간 추론 능력을 확보하는 데 중점을 둘 것으로 보입니다. 이러한 발전은 AI 메모리를 기본 기능으로 만드는 데 기여할 것이며, 장기적으로는 AI 시스템의 전반적인 성능과 효율성을 향상시킬 것으로 기대됩니다. 또한, SillyMemory와 같은 오픈 소스 확장을 통해 커뮤니티의 참여를 유도하고 생태계를 확장하려는 노력도 주목할 만합니다.
📝 원문 및 참고
- 원문: [링크 열기](https://lambdadb.ai/blog/ai-memory-fewer-tokens-without-graphs)
- GeekNews 토픽: [보기](https://news.hada.io/topic?id=36002)
---
출처: GeekNews ([원문 링크](https://lambdadb.ai/blog/ai-memory-fewer-tokens-without-graphs))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.