9B 오픈 모델의 $500 RL 파인튜닝이 카탈로그 리뷰에서 프론티어 모델을 능가했다

단 500달러의 비용을 들인 Reinforcement Learning (RL) 파인튜닝을 통해, 9B 파라미터 규모의 오픈 모델이 카탈로그 리뷰 작업에서 GPT-4o와 같은 프론티어 모델의 성능을 능가했음을 입증했다.

주요 핵심은 범용적인 성능을 높이는 대신, 특정 태스크(카탈로그 리뷰)에 최적화된 데이터와 보상 모델을 설계하는 데 집중한 것이다. 이를 통해 모델의 크기를 키우는 것보다 데이터의 질과 RL 알고리즘의 정교함이 특정 도메인 성능에 더 결정적인 영향을 미칠 수 있음을 보여준다.

이 실험은 대규모 컴퓨팅 자원이 부족한 환경에서도 **특화된 성능(Specialized performance)**을 가진 고효율 모델을 구축할 수 있는 실질적인 방법론을 제시한다.