테이스티(Taste) 관점에서 Fable과 Sol 비교 테스트 (둘 다 별로다)

Magic Hour의 CEO Runbo Li는 Fable 5와 Sol 5.6의 '테이스티(taste)'와 창의력을 평가하기 위해 동일한 작업 환경을 구축했다. 두 모델은 동일한 크리에이티브 프로세스와 스킬, 지시사항을 제공받아 15초짜리 영상 4개(광고 3개, 미니 다큐 1개)를 제작하는 과제를 수행했다.

영상 및 이미지 생성에는 로컬 MagicHour MCP 서버가 사용되었으며, 실행당 예산은 약 8.7달러(5,000 크레딧)로 총 8번의 실행이 진행되었다. 또한 웹 검색과 ffmpeg를 활용한 영상 조작 기능에도 접근 권한을 부여했다.

테스트 대상은 버거 레스토랑, 남성용 선크린 등 원천적으로 발명해야 하는 브랜드의 광고 영상 제작이었다. 결과물은 GitHub를 통해 공개되었으며, 두 모델 모두 기대에 미치지 못하는 수준('bad')이라는 것이 저자의 결론이다.