[Techmeme 요약] 메타, AI와 인력 활용해 잠재적 학교 총격 위협 탐지 및 예방 시스템 운영
0
설명
메타(Meta)는 AI와 인간 검토팀을 결합한 시스템으로 소셜 미디어 게시물을 분석하여 학교 총격과 같은 잠재적 위협을 사전에 탐지하고 예방하는 데 힘쓰고 있습니다. 2026년 10월 23일 뉴요커 보도에 따르면, 이 시스템은 과거 공격자들의 온라인 흔적과 행동 패턴을 학습하여 위험 신호를 포착합니다.
이러한 노력은 온라인상에서 확산되는 폭력 조장 콘텐츠가 사회적 문제로 대두되는 가운데, 플랫폼이 해결의 일부가 되려는 시도로 해석됩니다.
메타의 법 집행 협력팀은 2018년부터 전직 기자, 경찰 수사관 등 전문가들과 함께 AI 도구를 활용해 위험 신호를 스캔하고, 플래그가 지정된 콘텐츠는 인간 검토를 거쳐 법 집행 기관에 정보를 제공합니다.
### 배경 설명
최근 몇 년간 소셜 미디어 플랫폼은 혐오 발언, 폭력 선동 등 유해 콘텐츠 확산의 온상으로 지목되어 왔습니다. 특히, 학교 총격 사건과 같은 비극적인 사건 이후, 이러한 온라인 활동이 잠재적 가해자들에게 영향을 미칠 수 있다는 우려가 커지고 있습니다.
메타의 법 집행 협력팀(Law Enforcement Outreach Team)은 이러한 문제에 대응하기 위해 설립되었습니다. 이 팀은 과거 학교 총격 사건 가해자들의 온라인 활동을 분석하고, 그들의 행동 패턴을 파악하여 잠재적 위협을 조기에 감지하는 데 집중하고 있습니다. 이 과정에서 인공지능(AI) 기술과 함께 인간 검토자의 전문성을 결합하여 정확도를 높이고 있습니다.
과거 FBI 요원이었던 에밀리 바처(Emily Vacher)가 이끄는 이 팀은, 잠재적 가해자들이 폭력 의도를 온라인상에 '누설(leakage)'하는 경향이 있다는 점에 주목했습니다. FBI 연구에 따르면 18세 미만 가해자의 약 90%가 공격 의도를 사전에 누설한 것으로 나타났습니다. 메타는 이러한 누설 신호를 탐지하여 공격을 사전에 차단하는 것을 목표로 합니다.
### AI와 인간 검토팀의 협력
메타의 위협 탐지 시스템은 자동화된 AI 도구를 사용하여 소셜 미디어 게시물, 공유 콘텐츠, 사용자 간 상호작용, 그리고 AI 챗봇에 대한 프롬프트 등을 스캔합니다. AI가 잠재적 위험 신호를 감지하면, 해당 내용은 인간 검토자에게 전달됩니다. 검토자는 사용자의 온라인 행동을 심층적으로 분석하여 위협의 심각성을 판단합니다. 만약 표적 목록이나 선언문과 같은 '실질적인 조치(substantial steps)'의 증거가 발견되면, 메타는 관련 정보를 법 집행 기관에 제공합니다. 2025년 한 해 동안 메타는 전 세계적으로 약 800건의 정보를 법 집행 기관에 제공했습니다.
### 온라인 커뮤니티와 '진짜 범죄 커뮤니티(TCC)'
일부 온라인 커뮤니티, 특히 '진짜 범죄 커뮤니티(True Crime Community, TCC)'는 과거 대량 학살 가해자들을 숭배하는 경향을 보입니다. 이들은 가해자들의 이름 대신 별명이나 어린 시절 사진, 특정 무기 등을 암호처럼 사용하여 폭력적인 콘텐츠를 공유합니다. 예를 들어, 2024년 12월 위스콘신에서 발생한 사건에서 가해자는 백인 우월주의와 관련된 손짓을 하는 사진을 게시했으며, 2025년 1월 테네시에서 발생한 사건에서도 유사한 이미지가 발견되었습니다. 이러한 암호화된 언어와 상징은 AI 기반의 콘텐츠 검토 도구가 탐지하기 어렵게 만듭니다. 2026년 2월, 캐나다 브리티시컬럼비아주 텀블러리지 세컨더리 스쿨에서 발생한 총격 사건의 가해자 제시 반 루트셀라르(Jesse Van Rootselaar)는 OpenAI의 챗봇과 총기 폭력에 대한 대화를 나눴으며, 결국 6명의 사망자를 낸 후 스스로 목숨을 끊었습니다. 이 사건으로 OpenAI는 소송에 직면했습니다.
### 기술적 한계와 사회적 책임
메타의 시스템은 2025년 2월 18일 텍사스에서 발생한 학교 총격 위협 사건에서 중요한 역할을 했습니다. FBI는 두 명의 십대 소녀가 온라인에서 폭력 공격 계획을 논의했다는 제보를 받았고, 이 정보는 메타의 법 집행 협력팀을 통해 전달되었습니다. 이 팀은 AI와 인간 검토를 통해 소녀들의 온라인 활동을 분석했고, 결국 한 소녀가 체포되었습니다. 또한, 2025년 가을 뉴욕 퀸즈의 벤자민 N. 카르도조 고등학교 학생이 인스타그램에 학교 총격 계획을 암시하는 게시물을 올렸을 때, 메타의 시스템이 이를 감지하여 FBI에 통보했고, 결국 학생은 총기를 소지한 채 체포되었습니다. 하지만 이러한 사례 외에도, 많은 경우 가해자들이 명백한 위협을 드러내지 않고 암호화된 언어를 사용하여 탐지를 회피합니다. 2026년 2월, OpenAI의 샘 알트만(Sam Altman) CEO는 챗GPT를 통한 총기 폭력 논의를 법 집행 기관에 알리지 못한 것에 대해 사과했습니다.
### 가치와 인사이트
메타의 AI 기반 위협 탐지 시스템은 온라인상의 잠재적 폭력 행위를 사전에 차단하는 데 중요한 역할을 합니다. 특히, 과거 사건의 데이터를 학습하고 인간 검토자의 전문성을 결합함으로써, 복잡하고 암호화된 온라인 언어 속에서도 위험 신호를 포착하려는 노력이 돋보입니다. 이는 소셜 미디어 플랫폼이 단순한 정보 공유 공간을 넘어 사회 안전망의 일부로서 기능할 수 있음을 보여줍니다. 그러나 동시에, 이러한 기술이 모든 위협을 완벽하게 막을 수는 없으며, 가해자들이 끊임없이 새로운 방식으로 탐지를 회피하려 한다는 점도 시사합니다.
### 기술·메타
- AI (인공지능)
- 머신러닝 (Machine Learning)
- 자연어 처리 (Natural Language Processing)
- 소셜 미디어 분석 (Social Media Analysis)
- 법 집행 협력 (Law Enforcement Outreach)
### 향후 전망
메타의 이러한 노력은 향후 소셜 미디어 플랫폼들이 온라인상의 잠재적 폭력 위협을 탐지하고 예방하는 데 있어 더욱 적극적인 역할을 수행하게 될 것임을 시사합니다. AI 기술의 발전과 함께, 플랫폼들은 더욱 정교한 분석 도구를 개발하고, 법 집행 기관과의 협력을 강화할 것입니다. 이는 학교 총격뿐만 아니라 테러, 혐오 범죄 등 다양한 형태의 폭력 범죄 예방에 기여할 수 있습니다.
하지만 동시에, 이러한 시스템의 발전은 개인 정보 보호, 표현의 자유 침해 가능성 등 윤리적, 법적 쟁점을 야기할 수 있습니다. 플랫폼들은 기술적 능력과 사회적 책임을 균형 있게 고려하며 투명하고 책임감 있는 운영 방안을 모색해야 할 것입니다. 또한, 2026년 2월 OpenAI의 사례처럼, AI 챗봇을 통한 위험 대화가 심각한 결과를 초래할 수 있다는 점을 고려할 때, AI 개발 및 운영 기업들의 책임 있는 자세가 더욱 중요해질 것입니다. 궁극적으로, 이러한 기술적 노력은 학교, 가정, 지역 사회의 노력과 결합될 때 가장 큰 효과를 발휘할 수 있을 것입니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/261024/p3#a261024p3)
- 원문 기사: [링크 열기](https://www.newyorker.com/news/the-lede/inside-metas-efforts-to-prevent-school-shootings)
---
출처: Techmeme ([Original Article](https://www.newyorker.com/news/the-lede/inside-metas-efforts-to-prevent-school-shootings))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.