LLM Jury를 활용한 음식 메타데이터 구축

DoorDash는 수백만 개의 비정형 음식 메뉴 데이터에서 매운맛, 요리 종류 등 핵심 속성을 추출하기 위해 AI 기반 음식 메타데이터 플랫폼을 구축했습니다. 기존의 수동 라벨링 방식은 규모와 비용 측면에서 한계가 있어, 멀티모달 신호(텍스트, 이미지, 웹 검색)를 활용한 자동화 시스템을 도입했습니다.

주요 기술 혁신은 다음과 같습니다:

• LLM Jury 시스템: 다수의 LLM이 합의를 통해 결과를 검증하는 방식으로, 기존 인간 검수 대비 주석 정확도를 약 20% 향상시켰습니다.
• 컨텍스트 최적화 에이전트(Context-optimization agents): 프롬프트를 반복적으로 개선하여 모델 정밀도를 20% 이상 높였으며, 프롬프트 개발 속도를 10배 가속화했습니다.
• 분산 컴퓨팅(Distributed computing): 대규모 LLM 추론을 지원하여 데이터 백필(backfill) 시간을 한 달 이상에서 단 며칠로 단축했습니다.
• AI 주도 주석(AI-led annotation): 고품질 학습 데이터를 자동 생성하여, 최첨단 LLM 수준의 품질을 추론 비용의 10% 수준으로 달성했습니다.

이 시스템은 대규모 생성형 AI를 비용 효율적으로 배포할 수 있게 하여, DoorDash의 검색 및 개인화 경험을 개선하는 데 기여하고 있습니다.