AI Briefing토스, 선택적 내재화(SNAP)로 LLM 비용 절감
·2026.10.27 16:05
핵심 내용
토스가 선택적 내재화(SNAP)를 적용해 LLM 호출 비용을 크게 절감했다.
자세히 보기
- 토스가 개발한 선택적 내재화(SNAP)는 쉬운 요청만 소형 내재화 모델로 처리하고 어려운 요청은 기존 LLM으로 Fallback하는 방식이다.
- 첫 적용 대상인 텍스트 기반 동일상품 판별 작업에서 목표 일치율 99.9% 조건으로 검증 요청 100,648건 중 34,963건을 채택해 Coverage 34.74%를 확보했다.
- 약 6일간의 운영 결과 일별 33~37%의 요청을 내재화 모델이 처리하며, 입력 토큰 약 76억 개와 출력 토큰 약 4,520만 개를 절감했다.
- 서빙 성능 테스트에서 초당 1,203건 처리 구간에서도 p50 응답 시간 9.02ms, p99 15.23ms를 기록하며 실패나 드롭된 요청이 없었다.
- System Prompt 앞부분 해시를 이용해 작업을 분류하고, Airflow 일일 배치로 후보 발굴부터 모델 학습까지 자동화하여 하루 안에 모델을 확보한다.
- 전체 요청을 한 번에 전환하는 대신 검증된 구간부터 부분 적용함으로써 개발 부담을 줄이고 비용 절감을 빠르게 시작할 수 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
