JioStar, 8주 만에 5억 명 대상 AI 기반 콘텐츠 검색 기능 구축

JioStar가 OpenAI API를 활용해 JioHotstar에 대화형 AI 어시스턴트를 통합함. 15개 이상의 언어로 자연어 질의를 통해 영화, 쇼, 크리켓 통계 등을 검색할 수 있음.
데이터 과학자와 엔지니어로 구성된 소규모 팀이 OpenAI의 포워드 디플로이드 엔지니어와 협업하여 범위와 가드레일을 정의하며 약 8주 만에 프로젝트를 완료함.
JioStar 사용자의 60% 이상이 텍스트보다 음성 입력을 선호함. 콘텐츠 검색을 위한 뉘앙스가 담긴 음성 요청 처리가 핵심 설계 제약 조건이 됨.
팀은 모델의 원시 성능보다 평가(evals)를 우선시함. 스포츠 편집자의 도메인 전문성을 기반으로 한 '메이커-체커' 패턴을 적용하여 한 모델이 답변을 생성하고 다른 모델이 검증하도록 설계함.
프로덕션 모니터링은 P99 지연 시간 같은 전통적 지표와 함께 모델 효능을 추적해야 함. 인프라 건전성만으로는 정확한 AI 출력을 보장할 수 없음.
경영진은 생성된 코드 라인 수 같은 입력 지표가 아닌 비즈니스 결과에 집중해야 하며, 프로덕션 시스템 검증을 위해 인간 판단에 투자해야 함.

핵심 내용