Rocket Money, Hugging Face로 ML 스케일링

Rocket Money는 금융 거래 내역 분류를 위해 기존의 정규 표현식 및 결정 테이블 방식에서 BERT 기반 모델로 전환했다.

월 1억 건 이상의 거래를 처리하는 과정에서 발생하는 급격한 트래픽 변동과 4,000개 이상의 클래스를 관리해야 하는 복잡성이 주요 과제였다. 별도의 MLOps 팀이 없는 상황에서 인프라 구축 대신 Hugging Face의 Inference API를 도입하여 모델 서빙 문제를 해결했다.

이를 통해 인프라 관리 부담을 줄이고 ML 엔지니어들이 모델 성능 최적화에 집중할 수 있는 환경을 구축했으며, GCP 환경과의 호환성 및 고가용성 문제를 극복했다.