2조 토큰을 카테고리 분류에 써보며 알게 된 것들

당근 Taxonomy 팀은 게시글 카테고리와 속성을 LLM으로 자동 분류하기 위해 Taxonomy Management System을 구축했다. 핵심 실행 인프라는 Dataflow(Beam) 이고, 추론 결과의 Source of Truth는 BigQuery로 두었으며, 필요할 때는 Kafka sink로 사내 피처 플랫폼에 적재했다.

택소노미 정의와 파이프라인 설정은 모두 YAML로 관리해, 중고거래와 모임처럼 서로 다른 도메인에도 같은 구조를 재사용할 수 있게 만들었다. 카테고리 생성과 확장에도 LLM을 적극 활용해, 기존 well-known 택소노미를 참고한 신규 생성, 샘플 기반 확장, 유사 카테고리 병합, 신규 후보 승격, regression 평가까지 이어지는 절차를 마련했다. 이 방식으로 기존 3-depth, 약 1,400개 카테고리뿐 아니라 6-depth 이상, 10,000개 규모 택소노미도 정의할 수 있었다.

추론은 Single Shot, Hierarchical, Two-stage 같은 전략을 상황에 맞게 바꿔 끼우는 방식으로 운영했다. 카테고리 추론 뒤에는 속성 추론을 이어 붙였고, 각 단계는 DoFn 기반 컴포넌트로 모듈화해 Article → Category → Attribute 흐름을 유지했다.

평가는 LLM as a Judge 방식으로 했다. 샘플을 여러 모델로 돌려 라벨을 모은 뒤 majority voting으로 ground truth를 만들고, 카테고리는 accuracy, 속성은 precision/recall로 측정했다. 이 체계가 실제로 유효한지 확인하기 위해 소규모 human-labeled goldset과의 상관관계도 점검했다.

운영 측면에서는 정확도만큼 비용 최적화가 중요했다. 게시글에 이미지를 함께 넣어 분류 정확도를 끌어올리고, prompt engineering과 모델 조합을 반복 실험해 정확도와 비용의 sweet spot을 찾았다. 결론적으로 택소노미 분류는 한 번 만드는 일이 아니라, 대규모 트래픽과 변화하는 도메인에 맞춰 계속 측정하고 조정해야 하는 운영 문제였다.