Trustpilot, Gemma를 활용한 실시간 데이터 인리치먼트 아키텍처 구축 사례

Trustpilot은 수백만 개의 사용자 리뷰를 실시간으로 처리하면서도 엄격한 지연 시간과 비용 제약을 극복해야 하는 과제를 안고 있었다. 이를 위해 기존의 폐쇄형 모델 대신 오픈 웨이트 모델인 Gemma를 미세 조정(Fine-tuning)하여 핵심 비즈니스 파이프라인을 구축했다.

오픈 웨이트 모델을 선택한 이유는 다음과 같다:

• 모델 독립성: 서드파티 벤더의 업데이트나 API 변경에 구애받지 않고 재학습 라이프사이클을 직접 제어할 수 있다.
• 예측 가능한 경제성: 토큰당 과금 방식에서 고정 인프라 비용 모델로 전환하여 대규모 예측을 경제적으로 운영한다.
• MLOps 역량 강화: 자체 모델 구축을 통해 리뷰 인텔리전스의 핵심 기술을 내재화한다.
• 아키텍처 연속성: 베이스 모델의 후속 버전을 활용하여 최소한의 엔지니어링 비용으로 성능을 개선할 수 있다.

Trustpilot은 Gemini 2.0/2.5 Pro/Flash 제품군을 '티처 모델(Teacher models)'로 활용해 고품질 학습 데이터셋을 생성했다. 이를 통해 google/gemma-2-9b를 기반으로 주제 분류, NER(개체명 인식), 감성 분석 등 특정 작업에 특화된 전문 모델들을 구축했다.

시스템 아키텍처는 Dataflow와 Gemini Enterprise Agent Platform을 기반으로 설계되었다. 특히 비즈니스 로직과 LLM 추론을 분리하기 위해 두 개의 엔드포인트를 구축했다:

1. Classifier: FastAPI 기반으로 전/후처리, 프롬프트 템플릿 관리 및 체이닝을 담당한다.
2. LLM: vLLM을 통해 Gemma 모델을 서빙하는 전용 에이전트 플랫폼 엔드포인트다.