[Techmeme 요약] Hugging Face, 보안 사고 조사에 美 모델 대신 中 오픈소스 LLM 활용…안전 장치 역효과 드러나
10
설명
AI 모델 개발 및 공유 플랫폼인 Hugging Face가 최근 보안 사고 조사 과정에서 미국산 최첨단 인공지능(AI) 모델의 안전 장치(guardrails) 때문에 어려움을 겪었다고 밝혔습니다.
결국, 자체 인프라에서 중국산 오픈소스 대규모 언어 모델(LLM)인 GLM 5.2를 활용해 사고 원인을 분석했습니다.
이는 AI 모델의 안전 장치가 오히려 정상적인 보안 조사 활동을 방해할 수 있다는 점을 시사하며, 향후 AI 보안 및 규제 논의에 중요한 시사점을 던집니다.
### 배경 설명
Hugging Face는 AI 모델, 데이터셋, 애플리케이션을 공유하고 협업하는 플랫폼으로, 최근 약 1억 달러의 연간 반복 매출(ARR)을 기록하며 성장하고 있습니다. 지난 7월 13일 주간, Hugging Face는 생산 인프라가 '자율적인' AI 에이전트 시스템에 의해 침해당하는 보안 사고를 겪었습니다.
사고 발생 후, Hugging Face의 보안팀은 초기 대응 과정에서 미국산 최첨단 LLM(대규모 언어 모델)의 안전 장치에 가로막혔습니다. 이들 모델은 공격자와 사고 조사자를 구분하지 못해, 실제 공격에 사용된 명령어나 악성 코드 샘플 등을 분석하려는 시도를 차단했습니다. 이는 사고 조사에 필수적인 정보를 얻지 못하게 만드는 결과를 초래했습니다.
결국 Hugging Face는 자체 인프라에서 실행할 수 있는 오픈소스 GLM 5.2 모델(중국 Z.ai lab 개발)을 사용했습니다. 이 모델은 17,000개 이상의 로그 데이터를 분석하는 데 활용되었으며, 공격자가 남긴 흔적을 추적하는 데 성공했습니다. Hugging Face는 이번 사고를 통해 자체 인프라에서 실행 가능한 AI 모델을 사전에 준비해 두는 것의 중요성을 강조했습니다.
### 보안 사고 발생 및 초기 대응의 어려움
Hugging Face는 7월 13일 주간에 자사의 생산 인프라가 AI 에이전트 시스템에 의해 침해당했다고 발표했습니다. 공격자는 데이터셋 처리 과정의 두 가지 코드 실행 경로를 악용하여 처리 작업자(compute worker)에서 코드를 실행시켰습니다. 이후 공격자는 노드 수준 접근 권한을 획득하고 클라우드 및 클러스터 자격 증명을 탈취한 뒤, '짧은 수명의 샌드박스 · 자체 이동형 C2(Command and Control)를 공개 서비스에 배치'하는 방식으로 내부 클러스터로 이동했습니다. Hugging Face는 고객들에게 접근 토큰을 변경하고 계정 활동을 검토할 것을 권고했습니다. 현재 파트너 또는 고객 데이터 유출 여부에 대한 평가를 진행 중이며, 모델, 데이터셋, 스페이스 등에는 '변조' 흔적이 없다고 밝혔습니다.
### 미국산 LLM의 안전 장치, 조사 방해 요인으로 작용
Hugging Face의 보안팀은 초기 로그 분석을 위해 상용 API로 제공되는 최첨단 LLM을 사용했지만, 분석에 필요한 실제 공격 명령, 익스플로잇 페이로드, C2 아티팩트 등을 제출하는 요청이 공급업체의 안전 장치에 의해 차단되었습니다. 이러한 안전 장치는 정상적인 사고 조사 활동과 악의적인 사용을 구분하지 못해, 오히려 조사 과정을 지연시키고 방해하는 요인이 되었습니다.
### 중국산 오픈소스 LLM GLM 5.2의 활용
미국산 LLM의 한계에 직면한 Hugging Face는 중국 Z.ai lab에서 개발한 오픈소스 GLM 5.2 모델을 자사 인프라에서 직접 실행하여 포렌식 분석을 수행했습니다. 이 과정에서 공격자가 남긴 17,000개 이상의 로그 데이터를 분석할 수 있었으며, 공격자의 데이터나 자격 증명이 외부로 유출되는 것을 방지하는 이중 효과를 얻었습니다. GLM 5.2는 현재 높은 수요를 보이고 있는 모델 중 하나입니다.
### 중국 AI 모델의 부상과 경쟁 구도
이번 사건은 중국 AI 모델의 경쟁력과 함께, 미국과 중국 간의 AI 기술 경쟁 구도를 다시 한번 부각시켰습니다. 특히, 중국 AI 스타트업 Moonshot의 2.8조 개 매개변수(parameter)를 가진 Kimi K3 모델은 공개 당시 글로벌 시장에 큰 영향을 미쳤습니다. UC 버클리 연구진이 운영하는 Arena 플랫폼의 테스트 결과, Kimi K3는 Anthropic의 Fable 5 및 OpenAI의 GPT 5.6보다 뛰어난 성능을 보였습니다. 또한, 중국산 AI 모델은 미국산 모델에 비해 가격 경쟁력도 갖춘 것으로 나타났습니다.
### 가치와 인사이트
이번 Hugging Face의 사례는 AI 모델의 안전 장치가 의도와 달리 정상적인 보안 조사 활동을 방해할 수 있다는 점을 명확히 보여줍니다. 이는 AI 기술 발전과 함께 보안 및 규제 프레임워크를 어떻게 설계해야 할지에 대한 중요한 질문을 던집니다. 특히, 오픈소스 모델의 활용 가능성과 함께, 특정 국가의 기술에 대한 의존성 문제도 함께 고려해야 할 필요성을 시사합니다.
### 기술·메타
- GLM 5.2 (오픈소스 LLM)
- Z.ai lab (GLM 5.2 개발사)
- Hugging Face (AI 모델 공유 플랫폼)
- 17,000+ 로그 데이터
### 향후 전망
이번 사건은 향후 AI 보안 정책 및 규제 논의에 상당한 영향을 미칠 것으로 예상됩니다. AI 모델의 안전 장치 설계 시, 정상적인 보안 조사 활동을 방해하지 않으면서도 악의적인 사용을 효과적으로 차단할 수 있는 균형점을 찾는 것이 중요해질 것입니다.
또한, 자체 인프라에서 실행 가능한 오픈소스 LLM의 중요성이 더욱 부각될 것입니다. 기업들은 잠재적인 보안 사고에 대비하여, 외부 서비스에 대한 의존도를 낮추고 자체적인 분석 및 대응 역량을 강화하는 방향으로 나아갈 가능성이 높습니다.
미국과 중국 간의 AI 기술 경쟁은 더욱 심화될 것이며, 각국은 자국의 기술 경쟁력을 강화하고 동시에 잠재적 위험을 관리하기 위한 정책을 추진할 것입니다. 이는 글로벌 AI 생태계의 변화를 가져올 수 있습니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/260719/p13#a260719p13)
- 원문 기사: [링크 열기](https://www.thestack.technology/hugging-face-hacked-turned-to-chinese-llm-for-help-after-us-models-blocked-blue-team/)
---
출처: Techmeme ([Original Article](https://www.thestack.technology/hugging-face-hacked-turned-to-chinese-llm-for-help-after-us-models-blocked-blue-team/))
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.