[Lobsters 요약] 1Password의 AI 패치 벤치마크, 오해의 소지가 있는 결과 발표
20
설명
Trail of Bits는 2026년 8월 6일에 발표된 1Password의 AI 패치 벤치마크 보고서가 오해의 소지가 있다고 지적합니다.
보고서의 헤드라인은 AI 모델이 26%의 시간 동안만 깨끗한 수정을 생성했다고 주장하지만, 여기에는 의도적으로 잘못된 수정을 적용하도록 지시하거나 컴파일 및 테스트가 불가능했던 실험 결과가 포함됩니다.
이러한 결과는 방어자들이 잠재적으로 유용한 기술 사용을 단념하게 만들 위험이 있으며, 수정 가능한 취약점을 방치하게 할 수 있습니다.
### 배경 설명
소프트웨어 개발에서 보안 취약점을 신속하고 정확하게 수정하는 것은 매우 중요합니다. 특히 오픈소스 프로젝트의 경우, 광범위한 사용자 기반으로 인해 취약점 하나가 심각한 영향을 미칠 수 있습니다. 최근 몇 년간 인공지능(AI) 기술은 코드 생성, 버그 탐지, 그리고 취약점 수정에 이르기까지 소프트웨어 개발의 다양한 영역에서 활용 가능성을 보여주고 있습니다. 1Password는 2026년 8월 6일에 발표한 보고서를 통해 AI 모델이 보안 패치를 생성하는 능력에 대한 벤치마크 결과를 제시했습니다. 이 보고서는 AI가 생성한 패치의 '깨끗한 수정률'이 26%에 불과하다는 헤드라인을 내세우며, AI 기반 패치 솔루션의 실효성에 대한 의문을 제기했습니다. 그러나 Trail of Bits는 이 보고서의 방법론과 결과 해석에 중대한 결함이 있다고 주장하며, AI 패치 기술의 실제 잠재력을 과소평가하고 있다고 비판합니다. Trail of Bits는 자신들의 컨설팅 프로젝트와 OpenAI와의 협력 프로젝트인 'Patch the Planet'에서 얻은 실제 데이터를 바탕으로 1Password 보고서의 문제점을 분석하고, AI 패치의 현실적인 성능과 향후 발전 방향에 대한 통찰을 제공하고자 합니다.
### 1Password 보고서의 오해 소지 있는 결과 도출 방식
Trail of Bits는 1Password의 26% 깨끗한 수정률이 오해의 소지가 있다고 판단하는 네 가지 주요 요인을 지적합니다. 첫째, 샘플 선택에서 복잡한 수정이 필요한 6가지 취약점을 의도적으로 선택하여 평균값에 편향을 주었습니다. 둘째, 실험 데이터의 22%를 차지하는 프롬프트는 에이전트에게 의도적으로 잘못된 수정을 적용하도록 지시했습니다. 셋째, 데이터의 36%를 차지하는 평가 모드는 에이전트가 코드를 빌드하거나 실행할 수 없도록 제한했습니다. 넷째, 모델들이 최고 성능 설정이 아닌 기본 설정으로 테스트되었으며, 설정 변경에 따른 결과 변화는 측정되지 않았습니다. 이러한 조건들은 AI 패치의 실제 성능을 제대로 반영하지 못합니다. Trail of Bits는 1Password 보고서의 재분석을 통해, 에이전트가 코드를 실행하고 잘못된 지시를 받지 않은 합리적인 조건 하에서 생성된 3,067개의 패치 중 2,634개(86%)가 제공된 익스플로잇을 차단했음을 확인했습니다. 이는 AI가 유용한 패치 능력을 가지고 있음을 시사합니다.
### 인간 개발자의 첫 수정 실패율과 AI 패치의 현실
Trail of Bits는 2024년부터 2026년까지 수행한 236건의 보안 평가에서 개발자들이 제출한 첫 수정안 2,265건을 분석했습니다. 이상적인 조건, 즉 개발자가 상세한 취약점 보고서를 받고 수정 후 검토가 이루어지는 상황에서도 12.5% (1/8)의 첫 수정안이 문제를 완전히 해결하지 못했습니다. 이는 AI뿐만 아니라 인간 개발자도 완벽하지 않음을 보여줍니다. 'Patch the Planet' 프로젝트를 통해 Trail of Bits는 OpenAI와 협력하여 널리 사용되는 오픈소스 프로젝트에 수백 개의 패치를 공동 작성했습니다. 이 과정에서 에이전트가 패치를 작성하고 엔지니어가 이를 감독했으며, 프로젝트 유지보수자가 최종 결정을 내렸습니다. 분석 결과, 186개의 풀 리퀘스트 중 126개가 병합되었으며, 이 중 72.2%는 보안 수정이 원래 제안대로 수락되었습니다. 이는 AI가 인간의 감독 하에 실질적인 기여를 할 수 있음을 나타냅니다.
### 유지보수자의 검토 과정과 'freenginx' 사례
Trail of Bits는 'Patch the Planet' 프로젝트에서 유지보수자가 병합하거나 닫은 186개의 풀 리퀘스트를 검토했습니다. 126개의 병합된 풀 리퀘스트 중 91개(72.2%)는 보안 수정이 그대로 수락되었고, 33개(26.2%)는 보안 관련 수정이 이루어졌습니다. 60개의 풀 리퀘스트는 병합되지 않았는데, 대부분은 다른 작업으로 대체되거나 정책, 프로세스, 범위, 유지보수 이유로 거부되었습니다. 기술적인 이유로 명시적으로 거부된 경우는 4건이었습니다. 흥미로운 사례로, freenginx의 메모리 안전 버그에 대한 패치 작업에서 에이전트가 작성한 패치는 하나의 취약한 코드 경로를 남기고 새로운 충돌을 유발했습니다. 1Password 보고서에서 이 부분을 비판했지만, Trail of Bits는 유지보수자가 제출한 별도의 수정안 역시 동일한 충돌을 유발했음을 지적했습니다. 이는 복잡한 버그 수정 시 인간과 AI 모두 실수를 할 수 있으며, 문제 해결 과정에서 발생하는 잠재적 부작용을 파악하는 것이 중요함을 보여줍니다.
### AI 패치 품질 향상을 위한 새로운 에이전트 스킬
Trail of Bits는 AI 패치 품질을 향상시키기 위해 두 가지 새로운 에이전트 스킬을 공개했습니다. 첫 번째는 'post-patch-validation'으로, 에이전트가 패치 제출 전에 불완전한 수정이나 회귀(regression)를 탐지하도록 돕습니다. 이 스킬은 원본 버그 재현, 다른 실패 경로 테스트, 회귀 및 새로운 취약점 확인 등 네 가지 작업을 수행합니다. 두 번째는 'review-walkthrough'로, 엔지니어가 코드 변경 사항을 검토할 때 논리적인 순서로 변경 내용을 설명하고 관련 코드 옆에 검토 결과를 표시하여 효율적인 코드 리뷰를 지원합니다. 이러한 스킬들은 AI가 생성한 패치의 신뢰성을 높이고, 개발자들이 더 안전한 코드를 작성하도록 돕는 것을 목표로 합니다. 이 외에도 'variant-analysis', 'property-based-testing', 'mutation-testing'과 같은 기존 스킬들도 공개되어 있습니다.
### 가치와 인사이트
1Password의 AI 패치 벤치마크 보고서는 AI가 생성한 패치의 낮은 성공률을 강조하며 잠재적 사용자들에게 경고를 보내지만, Trail of Bits는 해당 보고서의 방법론적 결함으로 인해 결과가 오해의 소지가 있다고 주장합니다. Trail of Bits는 자신들의 실제 프로젝트 데이터를 통해, AI는 적절한 감독과 도구가 제공될 때 86%의 성공률로 익스플로잇을 차단하는 등 유용한 패치 능력을 보여줄 수 있음을 입증했습니다. 또한, 인간 개발자도 이상적인 조건에서 12.5%의 첫 수정 실패율을 보이며, 이는 AI의 실패가 인간의 실패와 비교될 때 상대적인 맥락에서 이해되어야 함을 시사합니다. Trail of Bits가 공개한 'post-patch-validation' 및 'review-walkthrough'와 같은 새로운 에이전트 스킬은 AI 패치의 정확성과 신뢰성을 향상시키는 데 기여할 것으로 기대됩니다. 이는 AI가 보안 취약점 해결에 실질적인 도움을 줄 수 있으며, 특히 보안 팀이 부족한 조직에게 유용한 도구가 될 수 있음을 보여줍니다.
### 향후 전망
AI 기반 코드 수정 기술은 계속 발전할 것이며, 1Password와 같은 벤치마크는 이러한 기술의 잠재력을 평가하는 데 중요한 역할을 할 것입니다. 그러나 Trail of Bits의 분석은 벤치마크 설계의 중요성을 강조하며, 실제 사용 환경과 유사한 조건에서 객관적인 평가가 이루어져야 함을 시사합니다. 향후 AI 모델의 성능 향상과 더불어, 'post-patch-validation'과 같은 검증 스킬의 발전은 AI가 생성한 패치의 신뢰도를 높이는 데 기여할 것입니다. 또한, 'Patch the Planet'과 같은 협력 프로젝트는 AI와 인간 개발자 간의 시너지를 탐구하며, 오픈소스 커뮤니티 전반의 보안 강화에 기여할 것으로 예상됩니다. 경쟁 측면에서는 더 많은 AI 개발사들이 보안 패치 생성 분야에 뛰어들 것이며, 각기 다른 접근 방식과 성능을 선보일 것입니다. Trail of Bits는 이러한 기술의 발전을 투명하게 공유하고 커뮤니티의 참여를 독려함으로써, AI가 소프트웨어 보안 생태계에 긍정적인 영향을 미치도록 노력할 것입니다.
📝 원문 및 참고
- Source: Lobsters
- 토론(Lobsters): [lobste.rs](https://lobste.rs/s/qx8dxe/1password_s_ai_patching_benchmark_is)
- 원문: [링크 열기](https://blog.trailofbits.com/2026/09/15/1passwords-ai-patching-benchmark-is-misleading/)
---
출처: Lobsters · [원문 링크](https://blog.trailofbits.com/2026/09/15/1passwords-ai-patching-benchmark-is-misleading/)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.