ElevenLabs Convai와 FLUX Kontext를 결합한 음성 기반 이미지 생성 도구, Vibe Draw 구축하기

Vibe Draw는 음성 인터페이스를 통해 이미지를 생성하고 편집할 수 있는 보이스 퍼스트(voice-first) 크리에이티브 도구다. ElevenLabs의 음성 AI와 Black Forest Labs의 FLUX Kontext를 결합하여 구현했다.

FLUX Kontext는 단순한 텍스트-이미지 생성을 넘어, 기존 이미지를 수정하거나 여러 참조 이미지를 병합하는 고도의 시각적 조작 기능을 제공한다. 사용자는 말로 스타일화된 텍스트의 글자를 바꾸거나 사물의 위치를 조정하는 등의 작업을 수행할 수 있다.

시스템 구축을 위해 자연어 이해, 문맥 인식, 오디오 관리, 시각적 생성, 사용자 경험(UX)이라는 다섯 가지 핵심 과제를 해결했다. 아키텍처는 Web Speech API, ElevenLabs TTS API, FLUX Kontext API를 활용한 클라이언트 사이드 방식으로 설계되었다.

특히 오디오 큐(queue) 시스템을 도입해 음성 응답이 겹치지 않도록 관리하며, 키워드 및 문맥 감지 로직을 통해 사용자의 명령이 새로운 이미지 생성인지 기존 이미지의 편집인지를 구분한다.