LLM 활용 소형 모델 성능 최적화
Investing in Performance: Fine-tune small models with LLM insights - a CFM case study
·2024.12.03 09:00
LLM 기반 데이터 라벨링으로 소형 모델의 성능을 높이고 운영 비용을 최대 80배 절감한 CFM의 사례를 소개한다.
자산운용사 CFM은 금융 뉴스에서 기업명 등 개체명을 정확히 추출하기 위해 LLM 기반 데이터 라벨링과 **소형 모델 미세 조정(Fine-tuning)**을 결합한 워크플로우를 구축했다.
기존의 대규모 LLM을 직접 사용하여 NER(개체명 인식)을 수행하는 방식은 정확도는 높지만 비용과 확장성 측면에서 한계가 있다. 이를 해결하기 위해 CFM은 다음과 같은 단계를 거쳤다.
- LLM 기반 라벨링: Llama 3.1-70b-Instruct를 Hugging Face Inference Endpoints에 배포하여 고품질의 합성 라벨 데이터를 생성한다.
- 데이터 정제: Argilla를 활용해 생성된 예측값을 검토하고 데이터 품질을 높인다.
- 소형 모델 미세 조정: 정제된 데이터를 바탕으로 GLiNER 및 SpanMarker와 같은 경량 모델을 미세 조정한다.
그 결과, GLiNER의 F1 스코어는 **87.0%에서 93.4%**로 향상되었으며, SpanMarker는 **47.0%에서 90.1%**로 대폭 개선되었다. 특히 운영 비용 측면에서 대규모 LLM 대비 최대 80배 저렴한 비용으로 유사한 수준의 성능을 구현하며 효율성을 입증했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.