[Hacker News 요약] 생성형 AI의 창의성 평가: 수렴과 발산 분리를 통한 새로운 벤치마크 제안
132
설명
Contra Labs는 생성형 AI의 창의적 작업을 평가하기 위한 새로운 프레임워크인 '인간 창의성 벤치마크(HCB)'를 발표했습니다. 이 연구는 전문가들이 모범 사례에 동의하는 '수렴(convergence)'과 개인적인 취향으로 인해 의견이 갈리는 '발산(divergence)'을 구분하여 AI 평가에 적용합니다. 기존 벤치마크들이 발산을 노이즈로 처리했던 것과 달리, HCB는 이를 창의적 작업의 본질적인 신호로 간주합니다. 이 접근 방식은 AI 모델이 단순히 '정답'을 내는 것을 넘어, 다양한 창의적 의도를 얼마나 잘 수용할 수 있는지를 측정하는 데 중점을 둡니다.
### 배경 설명
최근 몇 년간 생성형 AI는 텍스트, 이미지, 비디오 등 다양한 창의적 콘텐츠를 생산하며 놀라운 발전을 이루었습니다. 그러나 이러한 AI 모델의 '창의성'을 어떻게 객관적으로 평가할 것인가는 여전히 중요한 과제로 남아있습니다. 기존의 AI 평가 방식은 주로 정답이 명확한 작업(예: 번역 정확도, 이미지 분류 정확도)에 초점을 맞춰왔으며, 평가자 간의 불일치는 '오류'나 '노이즈'로 간주되어 해결해야 할 대상으로 여겨졌습니다. 하지만 디자인, 예술과 같은 창의적 영역에서는 '정답'이라는 개념 자체가 모호하며, 개인의 취향, 미적 방향, 개념적 위험 등 주관적인 요소가 결과물의 가치를 결정하는 데 큰 영향을 미칩니다. 이러한 맥락에서 Contra Labs의 HCB는 창의적 작업의 본질을 이해하고 AI를 평가하는 새로운 시각을 제시합니다.
특히, AI가 생성하는 결과물이 '기술적으로는 훌륭하지만 개성이 없는' 이른바 '모드 붕괴(mode collapse)' 현상을 겪는다는 비판이 제기되는 상황에서, HCB는 AI가 단순히 모범 사례를 따르는 것을 넘어, 차별화된 결과물을 생성하고 사용자의 미적 취향에 따라 조종될 수 있는 '조종 가능성(steerability)'을 평가하는 데 중요한 의미를 가집니다. 이는 AI가 단순한 도구를 넘어 진정한 창의적 파트너가 되기 위한 필수적인 단계로 주목받고 있습니다.
### HCB 프레임워크의 핵심: 수렴과 발산의 분리
HCB는 창의적 평가를 '수렴'과 '발산'이라는 두 가지 신호로 구분합니다. 수렴은 가독성 높은 타이포그래피, 기능적 레이아웃 등 전문가들이 동의하는 모범 사례를 의미하며, 이는 모델이 '정확해야 하는' 영역입니다. 반면 발산은 미적 방향, 분위기, 개념적 위험 등 전문가들이 개인적인 취향으로 인해 의견이 갈리는 영역으로, 이는 모델이 '취향에 따라 조종될 수 있어야 하는' 영역입니다. 이 연구는 기존 벤치마크가 발산을 노이즈로 간주하여 제거하려 했던 것과 달리, 창의적 작업에는 '정답'이 없으므로 발산 자체가 중요한 신호임을 강조합니다.
### 평가 방법론: 실제 전문가 워크플로우 반영
Contra Labs는 150만 명 이상의 독립 전문 크리에이터 네트워크에서 선별된 평가자들을 통해 연구를 진행했습니다. 랜딩 페이지, 데스크톱 앱, 광고 이미지, 브랜드 이미지, 제품 비디오 등 5개 창의 도메인에서 AI 생성물을 평가했으며, 창의적 프로세스를 '아이디어 구상(Ideation)', '목업(Mockup)', '정제(Refinement)'의 세 단계로 나누어 각 단계별 요구사항을 반영했습니다. 평가 방법으로는 쌍대 비교(pairwise forced-ranking), 세 가지 차원(프롬프트 준수, 유용성, 시각적 매력)에 대한 척도 평가(scalar ratings), 그리고 개방형 질적 피드백을 활용하여 총 15,000건에 달하는 개별 판단을 수집했습니다.
### 주요 연구 결과: 단계별 모델 성능 및 평가 기준 변화
연구 결과, 창의적 판단은 공유된 전문적 기준(수렴)과 개별적 창의적 관점(발산)이라는 두 가지 레지스터에서 동시에 작동함이 밝혀졌습니다. 기능적 결함이 명확할 때는 평가자들이 수렴하지만, 기술적으로 충분히 좋은 결과물에서는 취향에 따라 발산합니다. 특히, 어떤 AI 모델도 모든 도메인의 세 가지 창의적 단계에서 일관되게 선두를 차지하지 못했습니다. 아이디어 구상 단계에서는 Claude Opus 4.6과 Veo 3.1처럼 창의적 자유도가 높은 모델이 강세를 보였고, 목업 단계에서는 Gemini 3.1 Pro Preview처럼 디자인 시스템 준수 능력이 뛰어난 모델이, 정제 단계에서는 Grok Imagine Video, GPT 5.3 Codex, Seedream 4.5처럼 세부 편집 및 생산 준비도에 강한 모델이 우위를 점했습니다. 이는 창의적 프로세스 단계에 따라 모델에 대한 기대치와 평가 기준이 달라짐을 시사합니다.
### 가치와 인사이트
이 연구는 생성형 AI의 평가 패러다임을 전환하는 중요한 시사점을 제공합니다. 첫째, AI 모델 개발자들에게 '모범 사례 준수(convergence)'와 '취향 유연성(divergence/steerability)'이 서로 독립적인 축일 수 있음을 보여줍니다. 즉, 모델이 단순히 지시를 잘 따르고 기술적으로 완벽한 결과물을 내는 것을 넘어, 사용자의 다양한 창의적 의도를 반영하고 개성 있는 결과물을 생성할 수 있는 능력을 동시에 갖춰야 한다는 것입니다. 둘째, AI 도구 개발자들에게는 단일 모델이 모든 창의적 워크플로우를 커버할 수 없으므로, 각 단계에 최적화된 여러 모델을 유기적으로 통합하는 사용자 경험(UX) 설계의 중요성을 강조합니다. 셋째, 크리에이티브 전문가들에게는 AI 도구를 선택할 때 각 모델의 강점(탐색 vs. 실행)을 이해하고 의도적으로 활용할 수 있는 기준을 제시합니다. 궁극적으로 이 연구는 "이 결과물이 좋은가?"라는 단순한 질문을 넘어 "누구를 위해, 어떤 단계에서, 어떤 목적으로 좋은가?"라는 심층적인 질문을 던지며, AI가 인간의 창의성을 진정으로 보완하는 파트너가 되기 위한 방향성을 제시합니다.
### 기술·메타
- GPT-4o (질적 피드백 분석에 사용)
- Bradley-Terry 모델 (쌍대 비교 데이터 집계 및 ELO 등급 생성)
- Kendall's W (평가자 간 동의도 측정)
- Claude Opus 4.6 (AI 모델)
- Veo 3.1 (AI 모델)
- GPT 5.3 Codex (AI 모델)
- Grok Imagine Video (AI 모델)
- Seedream 4.5 (AI 모델)
- Qwen 3.5 (AI 모델)
- Gemini 3.1 Pro Preview (AI 모델)
- Gemini 3 Pro Image (AI 모델)
- Kling 3.0 Pro (AI 모델)
- Seedance 1.5 Pro (AI 모델)
- Flux 2 Pro (AI 모델)
- GPT Image 1.5 (AI 모델)
### 향후 전망
Contra Labs의 HCB 프레임워크는 생성형 AI 평가의 새로운 지평을 열었지만, 앞으로 해결해야 할 과제와 확장 가능성도 명확합니다. 첫째, 현재 연구는 창의적 프로세스를 세 가지 개별 단계로 구조화했지만, 실제 전문가의 작업은 훨씬 유동적이고 비선형적입니다. 향후 연구에서는 더 길고 제약이 적은 창의적 아크(creative arcs)를 탐색하여, 피드백 루프, 다중 도구 사용, 여러 세션에 걸친 작업 등 실제 워크플로우에서 평가 역학이 어떻게 변화하는지 심층적으로 분석할 필요가 있습니다. 둘째, 어떤 모델도 모든 단계에서 선두를 차지하지 못했다는 발견은 '의도적인 모델 전환(deliberate model switching)'이 결과물을 개선할 수 있는지, 그리고 도구가 마찰 없이 적절한 순간에 올바른 모델을 제시할 수 있는지에 대한 연구로 이어질 수 있습니다. 셋째, 수렴 데이터는 모델이 학습해야 할 모범 사례를, 발산 데이터는 모델이 단일 목표로 최적화되기보다 조종 가능해야 할 영역을 식별하므로, 이 두 신호를 훈련 프레임워크에 통합하는 것이 다음 단계가 될 것입니다. Contra Labs는 150만 명 이상의 전문가 네트워크와 평가 플랫폼을 활용하여 이러한 연구를 지속적으로 추진하며, AI 시스템이 창의적 품질을 측정하는 방식과 실제 크리에이터가 이를 판단하는 방식 간의 격차를 줄이는 것을 목표로 하고 있습니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=47966484)
- 원문: [링크 열기](https://contralabs.com/research/human-creativity-benchmark)
---
출처: Hacker News · [원문 링크](https://contralabs.com/research/human-creativity-benchmark)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.