Design Creativity Bench 공개, GPT-6 Astra 창의성 점수 65.5로 인간 기준 92.3점 하회

시각 출력의 다양성 붕괴

최신 분석은 대형 언어 모델(LLM)의 심각한 문제인 다양성 붕괴를 지적한다. 자전거를 타는 펠리컨의 SVG 생성과 같은 시각 자산 생성을 요청하면, 최전선 모델들은 거의 동일하고 품질이 낮은 결과물을 일관되게 내놓는다. 이는 다양하고 높은 품질의 시각적 해석 가능성과 대조되며, 생성형 AI의 창의적 다양성 부족이 구조적 문제임을 시사한다.

Design Creativity Bench 결과

이 문제를 정량화하기 위해 연구자들은 Design Creativity Bench를 도입했다. 이 벤치마크는 두 가지 서로 다른 제품 도메인에서 80개의 개방형 UI 작업에 대해 AI 모델을 평가한다. 평가는 다음 세 가지 차원을 측정한다:

• 독창성: 다른 모델의 출력물과의 차별성
• 창의적 범위: 다양한 도메인에 대한 디자인 결정의 적응력
• 적절성: 기능적 요구 사항 충족도

결과는 AI와 인간 디자이너 간의 상당한 격차를 보여준다. 최고 성능을 기록한 GPT-6 Astra는 창의성 점수 65.5점을 획득했으며, 인간 기준 점수는 92.3점이었다. 기타 상위 모델로는 GPT-6.1 Sol(63.7), Grok 4.7(62.2), Gemini 3.8 Flash(60.6) 등이 있다.

리소스 및 방법론

전체 리더보드, 방법론, 재현 가능한 평가 프레임워크는 공개되어 있다. 이 프로젝트는 단일 출력 품질 지표를 넘어 디자인 창의성을 최전선 모델 능력의 측정 가능한 차원으로 만드는 것을 목표로 한다. 데이터셋은 Hugging Face에 호스팅되며, 코드는 GitHub에서 확인할 수 있다.