LLM 라우터 연구, 태스크 인식이 난이도 예측보다 우세

Amazon Bedrock에서 RouteLLM을 복제한 연구에 따르면, 학습된 LLM 라우터는 개별 항목의 난이도 예측보다 태스크 유형 인식을 우선시하는 것으로 나타났다. 이 라우터는 홀드아웃 데이터에서 0.84 AUC를 기록했으나, 태스크 내에서 라벨을 섞어 항목별 신호를 제거하고 에스컬레이션 비율만 유지한 경우에도 점수가 0.838로 거의 변화하지 않았다.

주요 발견

• 태스크 대 난이도: 라벨 셔플링 후 성능 저하가 미미한 것은 모델이 쿼리의 구체적 난이도가 아닌 태스크 카테고리를 식별했음을 시사한다.
• 일반화 실패: 홀드아웃 태스크에서는 모든 라우터 아키텍처가 약 0.55 AUC로 하락하여 단순 프롬프트 길이 기준선보다 낮은 성능을 보였다.
• 견고성 검증: 이러한 낮은 일반화 성능은 데이터 부족(RouteLLM의 110k 라벨), 아키텍처 선택(선형 프로브, 유사도 가중 랭킹, 미세 조정된 인코더), 또는 라벨 노이즈(테스트-재테스트 카파 0.88–0.97) 때문이 아닌 것으로 확인됐다.

효과적인 대안

연구 결과, 저비용 모델의 자체 출력에 기반한 지연(deferral) 방식이 동일한 데이터 분할에서 학습된 라우터의 0.60보다 현저히 높은 0.75 AUC를 달성했으며, 추가 추론 비용도 발생하지 않았다.