[Techmeme 요약] 앤트로픽, AI 모델 안전성 검증 위해 METR에 직원 수준 접근 권한 부여
30
설명
AI 개발사 앤트로픽(Anthropic)이 자사 인공지능(AI) 모델의 안전성과 성능을 독립적으로 평가하기 위해 비영리 단체 METR에 직원과 유사한 수준의 접근 권한을 제공한다고 10월 15일 발표했습니다.
이는 백악관의 초지능 관련 협약(White House Accord on Super Intelligence) 서명에 따른 후속 조치로, AI 기업들이 외부 감사 기관과 협력하겠다는 약속을 이행하는 것입니다.
이번 조치는 AI 기술의 발전 속도에 맞춰 투명하고 신뢰할 수 있는 안전성 검증 체계를 구축하려는 노력의 일환입니다.
### 배경 설명
최근 인공지능(AI) 기술, 특히 대규모 언어 모델(Large Language Model, LLM)의 발전이 가속화되면서, 이들 모델의 잠재적 위험과 안전성에 대한 우려도 커지고 있습니다. 앤트로픽은 이러한 우려에 대응하고, 자사 AI 모델인 클로드(Claude)의 안전성을 강화하기 위해 독립적인 제3자 평가 기관과의 협력을 강화하고 있습니다.
이러한 배경에는 AI 모델의 복잡성이 증가함에 따라, 개발사 내부에서도 모든 위험 요소를 완벽하게 파악하고 공개하기 어려운 측면이 있다는 점이 있습니다. 일부 정보는 악의적인 공격자에게 악용될 수 있거나, 컴퓨팅 자원 및 학습 데이터와 같이 상업적으로 민감한 정보일 수 있기 때문입니다. 따라서 외부 전문가에게 깊이 있는 정보 접근 권한을 부여하여, 모델 개발 및 운영 과정에서의 위험을 객관적으로 평가받는 것이 중요해졌습니다.
앤트로픽은 METR 외에도 SecureBio, Accenture 등과 협력하고 있으며, Hugging Face와도 초기 논의를 진행 중입니다. 이들은 평가 기관에 대해 모델의 기능 평가 전문성, 기업과의 재정적·운영적 독립성, 그리고 위험을 평가할 수 있는 충분한 접근 권한을 요구하고 있습니다. 이는 마치 은행의 위험 관리를 위해 규제 당국이 내부 감사관을 파견하는 것과 유사한 원리입니다.
### METR에 대한 '직원 수준' 접근 권한이란?
앤트로픽은 METR 소속 직원 6명을 대상으로 회사 하드웨어, 사무 공간, 그리고 내부 도구 및 시스템에 대한 접근 권한을 부여했습니다. 이는 앤트로픽 내부의 위험 평가 팀이 접근하는 수준과 거의 동등합니다. 고객 데이터, 변호사-고객 간 비밀 정보, 모델 아키텍처에 대한 정보 등 극히 일부 예외적인 경우를 제외하고는, 앤트로픽 직원들은 동료 직원에게 정보를 공유하듯 METR 평가팀에게도 정보를 공유하도록 권장됩니다. METR은 평가 결과를 독립적으로 발표할 수 있으며, 앤트로픽은 특정 범주에 해당하는 정보에 대한 수정을 요구할 수는 있지만, METR은 수정 이유에 대한 자신의 의견을 공개할 자유가 있습니다.
### 독립적인 평가 기관과의 협력 이유
AI 모델이 더욱 강력해짐에 따라, 더 강력한 안전 장치와 까다로운 위험 평가가 요구됩니다. 앤트로픽은 자신들의 결정에 대해 대중에게 책임을 지고 싶지만, 안전 관련 모든 정보를 공개할 수는 없습니다. 일부 정보는 악의적인 행위자에게 유용하거나 상업적으로 민감할 수 있기 때문입니다. 대신, 제3자 평가 기관에 깊이 있는 정보에 대한 접근 권한을 제공하고, 모델 구축과 관련된 위험에 대한 증거와 합리적인 결론을 공유하도록 하고 있습니다. 이를 통해 평가 기관이 이해하는 AI 기업 시스템에 대한 정보와 기업 스스로가 이해하는 정보 간의 격차를 줄이는 것을 목표로 합니다.
### 평가 기관 협력의 단계별 접근 방식
앤트로픽은 평가 기관과의 협력을 위해 세 가지 접근 권한 등급을 개발하고 있습니다. 1단계에서는 평가 기관이 제한된 범위의 위험 조사를 수행하며, 앤트로픽의 승인을 받아 조사 결과를 발표합니다. 2단계에서는 평가 기관이 앤트로픽의 승인 없이도 결과를 발표할 수 있으며, 더 많은 정보에 접근할 수 있습니다. 3단계는 METR과의 협력과 같이 직원 수준의 접근 권한과 유사한 발표 권한을 제공하는 방식입니다. 현재 SecureBio는 1단계에서 앤트로픽의 8월 위험 보고서 중 화학 및 생물학 무기 관련 장을 검토 중이며, 향후 더 높은 단계의 협력을 고려할 예정입니다.
### 가치와 인사이트
앤트로픽의 이번 발표는 AI 안전성 확보를 위한 업계의 노력이 구체화되고 있음을 보여줍니다. 특히, 개발사 내부에서도 모든 정보를 공개하기 어려운 상황에서, 독립적인 제3자 평가 기관에 '직원 수준'의 접근 권한을 부여하는 것은 AI 모델의 투명성과 신뢰성을 높이는 중요한 시도입니다. 이는 단순히 기술적 안전성을 넘어, AI 기술이 사회에 미치는 영향에 대한 대중의 신뢰를 구축하는 데 기여할 수 있습니다.
### 향후 전망
이러한 독립적인 평가 메커니즘의 확대는 향후 AI 산업 전반의 규제 및 거버넌스 체계에 영향을 미칠 것으로 예상됩니다. AI 모델의 개발 및 배포 과정에서 안전성 검증이 더욱 중요해지면서, 정부 및 국제기구는 이러한 독립적 평가 결과를 AI 규제 정책 수립의 근거로 활용할 가능성이 높습니다. 또한, 소비자들은 AI 서비스 선택 시 이러한 독립적 평가 결과를 중요한 판단 기준으로 삼게 될 것입니다. 이는 AI 기업들에게는 기술 개발뿐만 아니라, 안전성 및 투명성 확보를 위한 지속적인 투자를 요구하게 될 것입니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/261015/p41#a261015p41)
- 원문 기사: [링크 열기](https://www.anthropic.com/news/an-update-on-independent-evaluators)
---
출처: Techmeme ([Original Article](https://www.anthropic.com/news/an-update-on-independent-evaluators))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.