[Hacker News 요약] TIME, AI 봇에게는 광고가 포함된 별도의 웹사이트 제공
2
설명
TIME 매거진이 AI 봇에게는 인간 독자와는 다른 버전의 웹사이트를 제공하고 있다는 사실이 밝혀졌습니다. 이 버전은 광고가 포함된 마크다운 형식으로, 인간은 절대 볼 수 없습니다. 2026년 8월 5일 Vincent Schmalbach가 작성한 이 글은 이러한 이중 웹의 등장과 그 의미를 탐구합니다.
### 배경 설명
인터넷의 주요 소비자가 인간에서 AI 봇으로 이동함에 따라, 웹사이트들은 콘텐츠 제공 방식을 재고하고 있습니다. TIME은 이러한 변화에 대응하여 AI 크롤러에게는 경량화된 마크다운 버전을 제공함으로써, 인간 독자에게는 풍부한 디자인과 스크립트를 갖춘 표준 HTML 버전을 제공하는 전략을 채택했습니다. 이는 2026년 7월 28일자 x-mobian-registry-version: 2026-07-28.v9와 같은 메타데이터를 통해 확인되며, AI 봇 트래픽이 이미 인간 트래픽을 초과하는 경우가 많다는 점을 고려할 때, 이는 출판 업계 전반에 걸쳐 나타날 수 있는 현상입니다. Mobian과 같은 애드테크 공급업체가 이러한 분기된 콘텐츠 제공에 관여하고 있으며, 각 봇 요청마다 고유한 UUID와 'no-store' 캐시 제어 지시어를 사용하여 광고 노출을 추적합니다.
### AI 봇을 위한 맞춤형 콘텐츠 제공
Vincent Schmalbach는 자신의 AI 코딩 도구인 vroni.com 개발 중, TIME의 건강 기사 'The Morning Light Habit Sleep Experts Swear By'를 다양한 User-Agent 헤더를 사용하여 반복적으로 요청했습니다. Chrome, Safari, Googlebot과 같은 일반적인 에이전트에게는 200 OK 상태와 함께 303,235바이트의 표준 HTML 응답이 반환되었습니다. 그러나 ClaudeBot, PerplexityBot, OpenAI의 OAI-SearchBot과 같은 AI 봇에게는 텍스트/마크다운 형식의 13,409바이트로 훨씬 작은 버전이 제공되었습니다. 이는 동일한 URL과 요청 시간에도 불구하고 콘텐츠의 크기와 형식이 완전히 달라짐을 의미합니다. 흥미롭게도 OpenAI의 GPTBot 및 ChatGPT-User 에이전트는 406 오류로 차단되었지만, ChatGPT의 검색 인덱스를 담당하는 OAI-SearchBot은 마크다운 버전에 접근할 수 있었습니다. 이는 TIME이 봇별로 차별화된 정책을 적용하고 있음을 시사합니다.
### 숨겨진 광고 및 추적 메커니즘
AI 봇에게 제공되는 마크다운 버전의 응답 헤더에는 'content-type: text/markdown; charset=utf-8', 'cache-control: no-store', 'x-mobian-registry-version: 2026-07-28.v9', 'x-mobian-impression: [UUID]', 'x-mobian-tokens: 3323', 'x-mobian-format: md' 등이 포함되어 있습니다. 특히 'x-mobian-impression' 값은 요청마다 새롭게 생성되는 UUID이며, 'cache-control: no-store'와 결합되어 각 봇의 페이지 접근이 별도의 광고 노출로 기록됨을 나타냅니다. 'x-mobian-tokens: 3323'은 페이지뷰나 사용자가 아닌, 언어 모델에 공급되는 '토큰' 단위로 측정됨을 보여줍니다. 기사 자체에는 광고가 없지만, 목록 및 섹션 페이지에는 'Sponsored content. Supplied in partnership with Ally.'와 같은 형태로 광고가 삽입되어 있습니다. 예를 들어, ClaudeBot으로 TIME의 'Best Inventions of 2025' 컬렉션을 로드했을 때, Ally Bank의 FAQ와 추적 링크가 포함된 스폰서 콘텐츠가 마크다운 내에 존재했습니다. 인간 독자가 접근하는 HTML 버전에는 이러한 내용이 전혀 포함되어 있지 않습니다.
### 이중 웹의 등장과 출판 산업의 미래
TIME의 이러한 전략은 웹이 AI 모델을 주요 대상으로 삼기 시작할 때 어떤 모습으로 변모하는지에 대한 명확한 첫 번째 사례를 제시합니다. 인간 독자는 자신이 보는 웹사이트가 AI 봇에게는 완전히 다른 형태로 제공되고 있으며, 그 과정에서 어떤 정보가 기계에 전달되는지 알지 못합니다. Googlebot과 같은 검색 엔진 크롤러는 여전히 인간과 동일한 HTML을 받지만, AI 어시스턴트 크롤러는 분기된 버전을 받습니다. TIME은 이미 봇 트래픽이 인간 트래픽을 능가하는 경우가 많다고 밝히고 있으며, 이는 다른 많은 출판사에서도 곧 현실이 될 가능성이 높습니다. 이러한 '이중 웹'은 콘텐츠 제공, 광고 모델, 그리고 궁극적으로 정보의 접근성에 대한 근본적인 질문을 던집니다.
### 가치와 인사이트
이 사례는 AI 시대에 웹 콘텐츠 제공 방식의 근본적인 변화를 보여줍니다. 출판사는 AI 봇에게는 경량화된 마크다운 버전을 제공하고, 인간에게는 풍부한 경험을 제공하는 이중 전략을 통해 트래픽을 관리하고 수익을 창출할 수 있습니다. 이는 AI 모델의 학습 데이터를 확보하는 동시에, 인간 독자에게는 광고 수익을 유지하는 방식입니다. 또한, AI 봇을 위한 콘텐츠에 스폰서십을 통합함으로써 새로운 광고 수익원을 창출할 수 있습니다. 그러나 이러한 이중성은 정보의 투명성과 접근성에 대한 우려를 제기하며, 독자가 자신이 소비하는 콘텐츠가 어떻게 제공되고 누구를 대상으로 하는지에 대한 인식을 변화시킬 필요성을 강조합니다.
### 기술·메타
- User-Agent 헤더
- text/html vs text/markdown
- Mobian 애드테크
- x-mobian-registry-version: 2026-07-28.v9
- x-mobian-impression: [UUID]
- x-mobian-tokens: 3323
- cache-control: no-store
- FAQPage JSON-LD
### 향후 전망
앞으로 더 많은 출판사가 TIME과 유사한 전략을 채택할 것으로 예상됩니다. AI 봇 트래픽의 증가는 이러한 경향을 가속화할 것이며, AI 모델 학습을 위한 데이터 제공과 광고 수익 모델의 결합은 더욱 정교해질 것입니다. Mobian과 같은 애드테크 기업은 AI 봇을 위한 맞춤형 광고 솔루션을 더욱 발전시킬 것이며, 이는 '토큰' 단위의 광고 노출 측정과 같은 새로운 지표의 등장을 가져올 수 있습니다. 경쟁은 AI 봇에게 더 매력적인 콘텐츠를 제공하는 방향으로 심화될 것이며, 이는 결국 AI 모델의 성능 향상과 새로운 서비스 개발로 이어질 수 있습니다. 다만, 이러한 변화는 웹의 개방성과 투명성에 대한 논쟁을 불러일으킬 것이며, AI 봇과 인간 독자 모두에게 공정하고 투명한 정보 접근 환경을 유지하기 위한 기술적, 윤리적 논의가 필요할 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=49182041)
- 원문: [링크 열기](https://www.vincentschmalbach.com/time-serves-ai-bots-a-different-website/)
---
출처: Hacker News · [원문 링크](https://www.vincentschmalbach.com/time-serves-ai-bots-a-different-website/)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.