[Techmeme 요약] 앤트로픽, AI 연구 커뮤니티 반발에 '클로드 페이블 5' 경쟁 AI 모델 개발 제한 정책 철회
38
설명
AI 개발사 앤트로픽(Anthropic)이 자사 최신 AI 모델 '클로드 페이블 5(Claude Fable 5)'를 이용해 경쟁 AI 모델을 개발하는 것을 제한하려던 정책을 철회했습니다. 이는 AI 연구 커뮤니티의 거센 반발에 따른 것으로, 앤트로픽은 정책 결정에 오류가 있었음을 인정하고 사과했습니다.
이번 정책은 사용자에게 알리지 않고 모델 성능을 은밀히 저하시키는 방식이었으나, 연구자들은 이러한 방식이 AI 연구 생태계에 부정적인 영향을 미칠 수 있다고 지적했습니다. 앤트로픽은 앞으로 이러한 안전 장치를 사용자에게 투명하게 공개할 방침입니다.
### 배경 설명
앤트로픽은 지난 6월 10일, 최신 AI 모델인 '클로드 페이블 5'를 출시하며 강화된 안전 장치를 적용했습니다. 이 중 일부는 사이버 보안, 생물학, 화학 관련 질문에 대해 덜 능숙한 AI 모델로 사용자를 안내하는 등 예상 가능한 조치였습니다.
하지만 최첨단 AI 모델 개발을 목표로 하는 연구자들에게는 다른 접근 방식을 적용하려 했습니다. 바로 사용자에게 알리지 않고 모델의 성능을 의도적으로 저하시켜, 경쟁 AI 모델 개발을 사실상 방해하는 것이었습니다. 이는 앤트로픽의 서비스 약관에서 명시적으로 금지하는 행위였습니다.
이러한 정책은 AI 연구 커뮤니티로부터 'AI 연구자들을 방해(sabotage)할 수 있다'는 비판과 함께 거센 반발을 불러일으켰습니다. 연구자들은 이러한 은밀한 성능 저하 방식이 AI 연구의 투명성을 해치고, 소수의 거대 AI 연구소만이 첨단 연구를 수행할 수 있는 환경을 조성할 수 있다고 우려했습니다.
### 정책 철회 및 사과
앤트로픽은 AI 연구 커뮤니티의 강력한 반발에 직면한 후, '클로드 페이블 5'의 최첨단 대규모 언어 모델(LLM) 개발 관련 안전 장치를 '투명하게' 변경하겠다고 발표했습니다. 앤트로픽은 성명을 통해 "잘못된 절충을 했으며, 균형을 제대로 잡지 못한 점에 대해 사과드린다"고 밝혔습니다. 이제 사용자가 '클로드 페이블 5'를 이용해 고성능 AI를 개발하려 시도하면, 요청을 거부하거나 덜 능숙한 모델로 안내한다는 사실을 알림받게 됩니다.
### 연구 커뮤니티의 비판
AI 연구자들은 앤트로픽의 은밀한 성능 저하 정책이 '충격적으로 적대적이며 보기에도 좋지 않다'고 비판했습니다. 특히, 사용자에게 알리지 않고 성능을 저하시키는 '비밀스러운 방해'는 AI 안전에 대한 앤트로픽의 전반적인 입장과도 상반된다는 지적이 나왔습니다. 오픈소스 AI 스타트업 프라임 인텔리קט(Prime Intellect)의 연구 책임자인 윌 브라운(Will Brown)은 "앤트로픽이 마치 '우리만이 AI 연구를 해야 한다'고 말하는 것 같다"며, 이는 "사다리를 끌어올리는 것 같다"고 비판했습니다. 또한, 이러한 정책은 개발자들이 앤트로픽의 규칙을 위반하는지 여부를 알 수 없게 만들어 혼란을 야기할 수 있으며, AI 모델의 안전성과 성능을 평가하는 제3자 평가 기관의 작업에도 지장을 줄 수 있다고 우려했습니다.
### 앤트로픽의 정책 배경
앤트로픽은 이러한 안전 장치를 마련한 이유로 '클로드'가 AI 연구를 가속화하는 데 점점 더 효과적이 되고 있다는 점을 들었습니다. 회사는 AI가 사회가 적응할 수 있는 속도보다 빠르게 능력을 향상시킬 수 있다는 우려를 표명하며, "세계가 사회 구조와 정렬 연구를 따라잡을 수 있도록 최첨단 AI 개발을 늦추거나 일시 중단할 수 있는 선택권을 갖는 것이 좋을 것"이라고 주장했습니다. 또한, 이러한 안전 장치는 외국 적들이 가장 유능한 모델을 심각한 안전 위험을 초래하는 방식으로 사용하는 것을 방지하고, 미국과 동맹국이 첨단 칩과 이를 최대한 활용하는 최적화된 소프트웨어에서 우위를 유지하도록 돕기 위한 것이라고 설명했습니다. 은밀한 안전 장치는 탐색 및 우회하기 어렵기 때문에 더 좁게 목표를 설정할 수 있다는 장점이 있다고 덧붙였습니다.
### 가치와 인사이트
이번 사건은 AI 개발사들이 최첨단 AI 모델의 오용을 방지하려는 노력과, AI 연구 생태계의 개방성 및 투명성을 유지하려는 요구 사이의 균형을 어떻게 맞춰야 하는지에 대한 중요한 질문을 던집니다. 앤트로픽의 정책 철회는 AI 연구 커뮤니티의 목소리가 기술 개발 방향에 영향을 미칠 수 있음을 보여주는 사례입니다. 또한, AI 모델의 성능을 사용자에게 알리지 않고 조절하는 방식은 연구 윤리 및 투명성에 대한 논쟁을 촉발시켰습니다.
### 향후 전망
앤트로픽의 이번 정책 변경은 앞으로 AI 개발사들이 안전 장치를 설계하고 적용하는 방식에 영향을 미칠 것으로 보입니다. 사용자에게 투명하게 공개되는 안전 장치는 AI 연구자들에게 더 예측 가능한 환경을 제공할 것이며, 이는 오픈소스 AI 개발 및 협업을 촉진할 수 있습니다.
하지만 앤트로픽이 언급했듯이, AI의 발전 속도가 사회의 적응 속도를 앞지를 수 있다는 우려는 여전히 유효합니다. 앞으로 AI 개발사들은 기술 발전과 사회적 안전망 구축 사이의 간극을 메우기 위한 더 많은 고민과 노력을 기울여야 할 것입니다. 또한, 이러한 논의는 AI 규제에 대한 국제적인 논의에도 영향을 미칠 수 있으며, AI 연구의 윤리적 가이드라인 수립에 대한 중요성을 더욱 부각시킬 것입니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/260610/p69#a260610p69)
- 원문 기사: [링크 열기](https://www.wired.com/story/anthropic-responds-to-backlash-on-claudes-secret-sabotage-on-ai-research/)
---
출처: Techmeme ([Original Article](https://www.wired.com/story/anthropic-responds-to-backlash-on-claudes-secret-sabotage-on-ai-research/))
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.