AI 모델에 인간의 감각을 더하다

Intelligence는 AI가 만든 결과물의 품질을 실제 사용자의 취향으로 평가하는 플랫폼 Design Arena를 운영한다. 공동 창업자 Grace Li는 AI 게임 엔진이 기능적인 게임은 만들지만 재미있는 게임은 만들지 못했던 문제에서 사업 아이디어를 얻었다고 설명했다.

Design Arena에서는 사용자가 프롬프트와 형식, 스타일을 입력한 뒤 여러 결과물을 ‘A 대 B’ 방식으로 비교해 순위를 매긴다. 웹사이트와 이미지 등 다양한 시각 콘텐츠를 평가할 수 있으며, 사용자는 어떤 모델이 만들었는지보다 가장 좋은 결과를 얻는 데 집중한다.

기업 고객에게는 이 과정에서 축적된 평가 데이터가 핵심이다. AI 기업은 Design Arena를 통해 미디어 생성 모델에 대한 대규모 인간 피드백을 확보하고, 자동화된 벤치마크만으로는 파악하기 어려운 실제 사용자 선호를 모델 개선에 반영할 수 있다.

사용자 로그인 데이터를 활용하면 대륙별·시간대별 취향 변화도 추적할 수 있다. 예를 들어 아시아의 웹 대시보드는 더 극대화된 디자인 스타일을 선호하는 경향이 있으며, 이런 데이터는 조작될 수 있는 자동 평가 지표를 보완한다.

Intelligence는 Index Ventures가 주도하고 Conviction, A*, Valkyrie 등이 참여한 790만 달러 규모의 시드 라운드를 유치했다. Design Arena는 전 세계 530만 명이 사용하고 있으며, 현재 연간반복매출(ARR) 6,000만 달러를 기록하고 있다고 회사는 밝혔다.

다만 인간 평가 데이터 시장의 성공이 보장된 것은 아니다. 130만 명 이상의 사용자를 확보하고 여러 프런티어 모델을 고객으로 둔 Yupp은 3,300만 달러를 조달했지만 지속 가능한 사업을 만들지 못하고 문을 닫았다. 반면 텍스트 응답을 평가하는 LM Arena는 유료 제품 출시 4개월 만에 1억 5,000만 달러 규모의 시리즈 A를 유치했다.