T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기

올리브영은 상용 LLM API 대신 **sLLM(Small LLM)**을 직접 학습(SFT)시키는 방식을 선택하여 리뷰 테마 추천 시스템을 구축했다. 이는 상용 모델 대비 95%의 정확도를 유지하면서도 운영 비용을 획기적으로 낮추기 위한 결정이었다.

상용 API 대신 자체 sLLM을 선택한 핵심 이유는 재현성과 버전 통제 때문이다. 상용 모델은 업데이트에 따라 응답 품질이 변할 수 있지만, SFT를 거친 sLLM은 학습 데이터와 체크포인트를 직접 관리하여 일관된 품질을 보장할 수 있다. 또한, 복잡한 프롬프트 엔지니어링 없이도 짧은 프롬프트로 원하는 출력 형식을 얻을 수 있어 토큰 비용과 응답 지연을 줄였다.

모델 선정 과정에서는 Gemma 3-4B를 최종 후보로 결정했다. 기존에 검토했던 HyperCLOVA X SEED는 라이선스 제약이 있었고, Qwen 시리즈는 한국어 오타 정정(Typo Robustness) 성능이 상대적으로 낮아 리뷰 기반 생성 태스크에는 부적합하다고 판단했다.