Scale의 Felix Su: 기업용 AI 구축을 위한 아키텍처의 중요성

성공적인 기업용 AI는 단순히 최신 기술을 도입하는 것을 넘어, AI 프리미티브(primitives) 위에 적절한 아키텍처와 제어 장치를 구축하는 것이 핵심이다. 기성 LLM은 강력하지만, 기업 특유의 비즈니스 로직, 브랜드 가이드라인, 안전 원칙을 완벽히 따르기에는 한계가 있다.

Scale의 GenAI 플랫폼 엔지니어링 책임자인 Felix Su는 기업 환경에서 LLM의 잠재적 행동에만 의존하기보다, 시스템을 직접 설계하여 제어하는 것이 더 실용적이라고 설명한다. 특히 ASR(음성 인식), LLM, TTS(음성 합성)를 결합하는 방식은 멀티모달 모델보다 입력과 출력에 대한 통제력이 높고, 커스텀 가드레일을 적용하기에 유리하다.

TIME AI는 이러한 방식을 적용해 구현되었다. Scale은 TIME의 기사 코퍼스를 지식 베이스로 인덱싱하고 비즈니스 로직을 시스템 프롬프트에 반영했으며, 환각 현상과 브랜드 가이드라인 위반을 방지하는 보호 조치를 구축했다. 여기에 ElevenLabs의 음성 기술을 결합하여 더욱 인간적인 대화 경험을 완성했다.

이러한 아키텍처는 저널리즘뿐만 아니라 고객 서비스 등 다양한 기업용 유스케이스에 적용 가능하다. 단순한 챗봇을 넘어 더욱 몰입감 있고 인간적인 상호작용을 원하는 고객의 요구를 충족시킬 수 있는 핵심 솔루션이 될 것이다.