동상과 대화하기: ElevenLabs Agent 기반 멀티모달 앱 구축

사진을 찍어 인물을 식별하고, 각 캐릭터의 시대적 배경에 맞는 목소리로 실시간 대화를 나누는 앱을 구축할 수 있다. 이는 ElevenLabs의 Voice Design 및 Agent API를 결합하여 구현된다.

전체 파이프라인은 다음 5단계로 작동한다:

• 이미지 캡처
• OpenAI를 통한 예술품 및 캐릭터 식별
• 역사 정보 조사
• ElevenLabs API를 이용한 캐릭터별 고유 목소리 생성
• WebRTC 기반의 ElevenAgents 실시간 음성 대화 시작

OpenAI Vision 모델은 이미지에서 예술품 이름, 위치, 작가, 캐릭터 정보 및 상세한 목소리 묘사를 추출한다. 특히 캐릭터의 성별, 나이, 억양, 성격 등을 포함한 상세한 목소리 설명은 Voice Design API를 통해 고품질의 음성을 생성하는 핵심 데이터로 사용된다.

이 앱은 Cursor와 Claude Opus 4.5를 활용해 단 하나의 프롬프트만으로도 구축이 가능할 만큼 명확한 구조를 가지고 있다.