[Lobsters 요약] Apple, 머신러닝과 동형 암호화 결합으로 개인정보 보호 강화한 '향상된 시각 검색' 기능 공개
32
설명
Apple은 2024년 10월 24일, 머신러닝과 동형 암호화(Homomorphic Encryption, HE)를 결합하여 사용자 개인정보를 보호하면서 서버 기반의 풍부한 정보를 활용하는 기술을 공개했습니다.
이 기술은 특히 사진 앱의 '향상된 시각 검색' 기능에 적용되어, 사용자의 사진 속 장소를 검색할 때 개인정보 유출 없이 정확한 결과를 제공합니다.
Apple은 이러한 프라이버시 중심의 기술 개발을 위해 2026년까지 지속적인 노력을 기울일 예정이며, 개발자 커뮤니티를 위해 swift-homomorphic-encryption 라이브러리를 오픈소스로 공개했습니다.
### 배경 설명
Apple은 사용자 프라이버시를 핵심 가치로 삼고 있으며, 이를 위해 온디바이스(on-device) 처리를 우선시합니다. 하지만 머신러닝(ML) 기반의 사용자 경험을 향상시키기 위해서는 서버의 방대한 지식 기반을 활용해야 하는 경우가 발생합니다. 이때 서버와의 통신 과정에서 사용자 데이터가 노출될 위험이 있습니다. Apple은 이러한 딜레마를 해결하기 위해 동형 암호화(HE)라는 강력한 암호화 기술을 도입했습니다. HE는 암호화된 상태에서도 데이터에 대한 연산을 수행할 수 있게 해주는 기술로, 클라이언트 장치에서 쿼리를 암호화하여 서버로 보내면, 서버는 암호화된 쿼리에 대한 연산을 수행하고 암호화된 응답을 반환합니다. 이 과정에서 서버는 원본 요청이나 복호화 키에 접근할 수 없어 클라이언트의 쿼리 내용을 알 수 없습니다. Apple은 HE를 프라이빗 정보 검색(Private Information Retrieval, PIR) 및 프라이빗 최근접 이웃 검색(Private Nearest Neighbor Search, PNNS)과 같은 다른 프라이버시 보호 기술과 결합하여, 서버 데이터베이스 조회 및 ML 모델 활용 시 사용자 프라이버시를 철저히 보호하는 방안을 모색하고 있습니다. 이러한 기술적 접근은 2017년 12월 6일에 발표된 'Learning with Privacy at Scale' 연구에서도 드러난 Apple의 프라이버시 보호에 대한 장기적인 의지를 보여줍니다.
### 동형 암호화(HE)와 Apple 생태계
Apple은 HE를 통해 개인정보 보호를 강화하면서도 서버 데이터베이스를 활용하여 온디바이스 경험을 풍부하게 만들고 있습니다. 특히, 2024년 10월 24일에 공개된 연구에서는 HE를 활용한 프라이빗 데이터베이스 조회 및 ML 기능 구현에 대한 상세한 내용을 공유했습니다. Apple은 HE 구현을 위해 Brakerski-Fan-Vercauteren(BFV) HE 스킴을 채택했으며, 이는 ML 워크플로우에서 흔히 사용되는 임베딩 벡터에 대한 연산(예: 내적, 코사인 유사도)을 효율적으로 수행할 수 있도록 지원합니다. BFV 파라미터는 양자 컴퓨팅 공격에도 대비할 수 있는 128비트 보안 수준을 달성하여, 고전적 및 미래의 양자 공격 모두에 대해 강력한 보안을 제공합니다. HE는 클라이언트가 서버에서 정보를 조회할 때 조회 연산을 암호화된 상태로 유지해야 하는 상황에서 특히 유용합니다. Apple은 HE 단독으로 프라이빗 정보 검색(PIR)을 통해 정확한 일치를 지원하며, 더 나아가 프라이빗 최근접 이웃 검색(PNNS)과 결합하여 ML 기반의 복잡한 애플리케이션을 지원합니다.
### 프라이빗 정보 검색(PIR)의 활용
PIR은 클라이언트가 서버 데이터베이스에서 쿼리에 대한 정확한 일치를 프라이빗하게 검색해야 하는 다양한 사용 사례에 적용됩니다. 예를 들어, iOS 18에 곧 출시될 메일 앱에서 수신된 이메일과 함께 표시할 비즈니스 로고 및 정보를 검색하거나, 수신 전화에 대한 발신자 ID 정보를 제공하거나, URL이 성인 콘텐츠로 분류되었는지 확인하는 경우(자녀 보호 기능 설정 시) 등에 활용될 수 있습니다. 이러한 워크플로우에서 PIR은 쿼리 자체를 노출하지 않고 관련 정보를 검색하는 것을 목표로 합니다. 클라이언트는 쿼리를 암호화하여 서버로 보내고, 서버는 HE 연산을 통해 데이터베이스와 비교한 후 암호화된 결과를 클라이언트에 반환합니다. 서버는 클라이언트의 개인 쿼리나 검색 결과를 알 수 없으며, 이는 웹 콘텐츠 필터링과 같은 시나리오에서 URL을 암호화하여 서버로 보내고, 서버가 해당 URL을 데이터베이스와 비교하여 차단 여부를 결정한 후 암호화된 결과를 반환하는 방식으로 작동합니다. Apple은 2026년까지 이러한 PIR 기반 기능을 더욱 확대할 계획입니다.
### 프라이빗 최근접 이웃 검색(PNNS)과 향상된 시각 검색
근사 일치가 필요한 사용 사례에는 Apple의 PNNS가 사용됩니다. 이는 벡터 임베딩에 대한 효율적인 프라이빗 데이터베이스 검색 프로세스로, 'Scalable Private Search with Wally' 논문(2024년 10월 16일 공개)에서 자세히 설명되었습니다. PNNS를 통해 클라이언트는 벡터 임베딩을 암호화하여 서버로 보내고, 서버는 HE 연산을 통해 최근접 이웃 검색을 수행하여 암호화된 결과를 클라이언트에 반환합니다. 서버는 이 과정에서도 클라이언트의 개인 임베딩이나 검색 결과를 알 수 없습니다. 이러한 PIR 및 PNNS와 HE를 결합한 기술은 Apple의 '향상된 시각 검색' 기능의 핵심입니다. 이 기능은 사용자가 사진 라이브러리에서 랜드마크와 같은 특정 장소를 검색할 수 있도록 지원합니다. 사용자의 기기에서 온디바이스 ML 모델이 사진을 분석하여 '관심 영역(ROI)'을 감지하고, 해당 영역의 벡터 임베딩을 계산합니다. 생산 환경의 지연 시간 및 비용 요구 사항을 충족하기 위해, 임베딩은 8비트 정밀도로 양자화된 후 암호화됩니다. 서버 데이터베이스는 효율성을 높이기 위해 분할(shard)되며, 클라이언트는 로컬에서 유사도 검색을 수행하여 가장 가까운 샤드를 식별하고 이를 암호화된 쿼리에 포함하여 서버로 보냅니다. 쿼리 소스 IP 주소를 숨기기 위해 차등 프라이버시(Differential Privacy, DP)와 OHTTP 릴레이가 사용되며, 이는 2024년 10월 24일 연구에서 상세히 설명되었습니다. PNNS를 위한 Apple의 시스템은 (ε, δ)-DP, 여기서 ε = 0.8, δ = 10⁻⁶의 강력한 프라이버시 매개변수를 보장합니다.
### 가치와 인사이트
Apple의 동형 암호화 및 관련 프라이버시 보호 기술 통합은 사용자 데이터의 민감성을 보호하면서도 AI 및 ML 기반의 개인화된 경험을 제공하는 데 있어 중요한 진전을 보여줍니다. 특히 '향상된 시각 검색' 기능은 사용자가 자신의 사진 라이브러리 내에서 특정 장소를 검색할 때, 개인 정보가 서버로 노출될 염려 없이 정확한 결과를 얻을 수 있도록 합니다. 이는 온디바이스 ML 모델이 사진을 분석하여 관심 영역을 식별하고, 이를 벡터 임베딩으로 변환한 후, 암호화된 상태로 서버의 글로벌 랜드마크 데이터베이스와 비교하는 복잡한 과정을 거칩니다. 이 과정에서 프라이빗 정보 검색(PIR)과 프라이빗 최근접 이웃 검색(PNNS) 기술이 핵심적인 역할을 하며, 서버는 클라이언트의 쿼리 내용을 전혀 알 수 없습니다. 또한, 차등 프라이버시(DP)와 OHTTP 릴레이를 사용하여 쿼리의 출처를 익명화함으로써, 서버 측에서의 잠재적인 추적이나 식별을 방지합니다. 이러한 접근 방식은 사용자에게 향상된 기능성을 제공하는 동시에, Apple의 핵심 가치인 프라이버시를 최우선으로 고려한다는 점을 명확히 합니다. 2017년 12월 6일 발표된 'Learning with Privacy at Scale' 연구에서 제시된 프라이버시와 유용성 간의 균형을 맞추는 노력은 이러한 기술 발전의 기반이 됩니다.
### 기술·메타
* **암호화 방식**: Homomorphic Encryption (HE)
* **HE 스킴**: Brakerski-Fan-Vercauteren (BFV)
* **보안 수준**: Post-quantum 128-bit security
* **프라이버시 기술**: Private Information Retrieval (PIR), Private Nearest Neighbor Search (PNNS), Differential Privacy (DP), OHTTP relay
* **ML 모델**: 온디바이스 ML 모델, 서버 측 ML 인프라
* **데이터 처리**: 벡터 임베딩, 8-bit quantization
* **오픈소스 라이브러리**: `swift-homomorphic-encryption`
* **관련 논문**: 'Scalable Private Search with Wally' (2024-10-16), 'Learning with Privacy at Scale' (2017-12-06)
### 향후 전망
Apple이 2024년 10월 24일에 공개한 동형 암호화(HE) 및 관련 프라이버시 기술은 향후 Apple 생태계 전반에 걸쳐 더욱 광범위하게 적용될 가능성이 높습니다. 특히, 개발자 커뮤니티를 위해 오픈소스로 공개된 `swift-homomorphic-encryption` 라이브러리는 외부 개발자들이 HE 기술을 활용하여 자체 애플리케이션에서 유사한 프라이버시 보호 기능을 구현할 수 있도록 지원할 것입니다. 이는 Apple 플랫폼 내에서 프라이버시 중심의 혁신을 촉진하는 중요한 계기가 될 수 있습니다. 또한, 2024년 10월 16일에 공개된 'Scalable Private Search with Wally' 논문에서 제시된 효율적인 프라이빗 검색 시스템은 향후 Apple의 검색 관련 기능 개선에 기여할 것으로 예상됩니다. 경쟁사들 역시 프라이버시 보호 기술에 대한 투자를 늘리고 있는 상황에서, Apple의 이러한 선도적인 기술 채택은 사용자 신뢰를 구축하고 시장에서의 경쟁 우위를 확보하는 데 중요한 역할을 할 것입니다. 향후에는 더욱 복잡한 ML 모델과의 통합, HE 연산의 효율성 향상, 그리고 양자 컴퓨팅 시대에 대비한 보안 강화 등이 주요 과제가 될 것으로 보입니다. Apple은 2026년까지 이러한 기술들을 더욱 발전시켜 사용자 경험을 혁신할 것으로 기대됩니다.
📝 원문 및 참고
- Source: Lobsters
- 토론(Lobsters): [lobste.rs](https://lobste.rs/s/7ekwll/combining_machine_learning_homomorphic)
- 원문: [링크 열기](https://machinelearning.apple.com/research/homomorphic-encryption)
---
출처: Lobsters · [원문 링크](https://machinelearning.apple.com/research/homomorphic-encryption)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.