[Hacker News 요약] AI 기업, 희귀 서적 대량 구매 및 파쇄하여 학습 데이터로 활용
0
설명
최근 AI 기업들이 학습 데이터 확보를 위해 희귀 서적을 대량으로 구매하고 이를 파쇄하는 관행이 논란이 되고 있습니다.
ISBNdb와 같은 서비스를 통해 익명으로 수백만 권의 책을 구매하며, 특히 2022년 이전 출판된 책들이 높은 가치를 지닙니다.
한 연방 판사는 이러한 행위가 '공정 이용'에 해당한다고 판결하여 논란이 가중되고 있습니다.
### 배경 설명
인공지능(AI) 모델의 성능 향상은 방대한 양의 데이터를 필요로 하며, 텍스트 기반 AI의 경우 언어 이해 및 생성 능력을 높이기 위해 다양한 텍스트 자료를 학습해야 합니다. 인터넷상의 공개된 데이터 외에도, 기존의 출판물들은 풍부하고 구조화된 정보를 제공하기 때문에 매력적인 학습 데이터 소스로 여겨집니다. 특히, AI 생성 텍스트가 없는 2022년 이전의 서적들은 더욱 가치 있는 것으로 평가받는데, 이는 AI가 기존의 인간 창작물을 모방하거나 이를 기반으로 새로운 콘텐츠를 생성하는 과정에서 발생할 수 있는 편향이나 품질 저하를 피하려는 시도로 해석됩니다.
이러한 배경 속에서, 희귀 서적은 그 희소성과 역사적 가치에도 불구하고 AI 학습 데이터로서의 잠재력 때문에 주목받고 있습니다. 수백 년간 전쟁, 화재, 자연적인 마모 등을 견뎌낸 책들이 이제는 AI의 학습을 위해 물리적으로 파괴되는 상황은 문화적, 역사적 보존의 측면에서 심각한 우려를 낳고 있습니다. ISBNdb와 같은 서비스는 이러한 거래를 익명으로 지원하며, 심지어 '디지털 보존'이라는 명목으로 파쇄 과정을 포장하기도 합니다. 이는 단순히 데이터를 수집하는 것을 넘어, 물리적 실체를 영구적으로 소멸시키는 행위라는 점에서 기존의 데이터 스크래핑이나 불법 다운로드와는 차원이 다른 문제로 인식되고 있습니다.
### 희귀 서적의 대량 구매 및 파쇄 과정
AI 기업들은 ISBNdb와 같은 중개 서비스를 통해 익명으로 희귀 서적을 대량으로 구매하고 있습니다. 이 과정에서 책의 등(spine)을 절단하는 고속 스캐닝 기계를 사용하여 원본을 파쇄합니다. ISBNdb는 최대 100만 권의 책 주문을 처리하며 구매자의 신원을 철저히 익명으로 유지합니다. 특히 2022년 이전에 출판된 책들은 AI 생성 텍스트가 포함되지 않아 더욱 높은 가치를 지니며 선호됩니다. 이러한 책들은 수백 년의 역사를 지니고 있으며, 전쟁, 화재 등 수많은 시련을 견뎌낸 희소한 문화 유산입니다. 그러나 이제는 AI가 더 나은 마케팅 이메일을 작성하는 법을 배우기 위해 이러한 책들이 파쇄되고 있습니다.
### 법적 판결과 '공정 이용' 논란
최근 한 연방 판사는 AI 기업의 희귀 서적 파쇄 행위가 '공정 이용(fair use)'에 해당한다고 판결했습니다. 이 판결의 근거는 원본 책을 제거함으로써 해당 자료가 한 번에 하나의 복사본만 존재하게 된다는 점입니다. 이는 물리적 실체가 사라지더라도 디지털 데이터로서의 접근성은 유지될 수 있다는 논리로 해석될 수 있습니다. 그러나 이러한 판결은 희귀 서적의 물리적, 역사적 가치를 간과하고 있다는 비판을 받고 있습니다. 404 Media에 따르면, 거의 복사본이 남아있지 않은 희귀 서적들이 이러한 AI 학습 데이터 파이프라인에 투입되고 있으며, 이는 돌이킬 수 없는 문화적 손실을 야기합니다.
### Anthropic의 '모든 책' 확보 시도
AI 연구 기업인 Anthropic은 Google Books 파트너십의 전 책임자를 영입하여 '세상의 모든 책'을 확보하려는 움직임을 보이고 있습니다. 이는 AI 모델의 언어 이해 및 생성 능력을 극대화하기 위한 전략으로 풀이됩니다. Anthropic의 이러한 행보는 AI 기업들이 단순한 온라인 데이터 스크래핑을 넘어, 물리적이고 희소한 문화 자원까지 학습 데이터로 활용하려는 의지를 보여줍니다. ISBNdb의 웹사이트는 'AI 회사가 200만 권의 책을 파괴한다'는 헤드라인이 동정을 유발하지 않을 것이라고 명시하며, 이러한 사업 모델을 조용히 구축하고 있습니다. 이들은 NDA(비밀 유지 계약)를 제공하고, 고객들에게 이를 '디지털 보존'이라고 부르도록 코칭합니다.
### 가치와 인사이트
이 사건은 AI 개발에 필요한 데이터 확보 방식에 대한 근본적인 질문을 던집니다. 희귀 서적의 파쇄는 단순히 데이터 수집을 넘어선 물리적, 역사적 유물의 영구적인 소멸을 의미합니다. 이는 돌이킬 수 없는 문화적 손실이며, AI 기술 발전이 가져올 수 있는 예상치 못한 부작용을 보여줍니다. '디지털 보존'이라는 명목 하에 이루어지는 이러한 행위는 윤리적 논란을 야기하며, AI 커뮤니티와 문화 보존 단체 간의 긴장을 고조시킬 수 있습니다. 또한, 법원이 '공정 이용'의 범위를 넓게 해석함에 따라, 앞으로 유사한 사례가 증가할 가능성이 높습니다.
### 향후 전망
AI 기업들의 데이터 확보 경쟁은 더욱 치열해질 것이며, 희귀 서적뿐만 아니라 다양한 형태의 희소 자료들이 학습 데이터로 활용될 가능성이 있습니다. '원본 없는 디지털 복제'라는 개념이 더욱 확산될 수 있으며, 이는 저작권 및 문화재 보존에 대한 새로운 법적, 윤리적 논쟁을 촉발할 것입니다. ISBNdb와 같은 서비스는 익명성과 효율성을 앞세워 사업을 확장할 것이며, 2026년에는 '희귀 서적을 파쇄하고 NDA를 제공하여 신원 노출을 막는 것'이 합법적인 사업 모델로 자리 잡을 수도 있습니다. 이러한 추세는 AI 모델의 성능 향상과 함께, 인류의 문화 유산 보존 방식에 대한 근본적인 재고를 요구할 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=49068738)
- 원문: [링크 열기](https://twitter.com/HedgieMarkets/status/2081534588485296565)
---
출처: Hacker News · [원문 링크](https://twitter.com/HedgieMarkets/status/2081534588485296565)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.