삼성전자, 기기 내 LLM 추론 강화하는 CG-TTRL 프레임워크 공개

삼성전자 영국 연구소(Samsung R&D Institute United Kingdom) 연구진이 클라우드 자원이나 레이블된 데이터 없이 사용자 기기에서 직접 LLM의 추론 능력을 향상시키는 프레임워크 CG-TTRL(Context-Guided Test-Time Reinforcement Learning)을 공개했다. 기존 Test-Time Reinforcement Learning(TTRL)은 다수결 투표가 실패할 때 잘못된 추론을 강화하는 한계가 있었으나, CG-TTRL은 비지도 학습 파이프라인에 **In-Context Learning(ICL)**을 통합해 이를 해결한다.

CG-TTRL 작동 방식

CG-TTRL은 쿼리, 단계별 해결책, 최종 응답으로 구성된 검색된 예시를 사용자 쿼리에 추가한다. 기기 효율성을 위해 TF-IDF 특징과 코사인 유사도를 사용해 컨텍스트 풀에서 가장 관련성 높은 예시를 선택하며, 보조 모델이나 무거운 연산이 필요 없다. 이 컨텍스트는 활용 단계(다수결 투표를 위한 예측 생성)와 탐색 단계(모델 가중치 업데이트) 모두에서 작동하여, 강화 학습에 사용되는 의사 레이블의 정확도를 높이고 가중치 업데이트가 올바른 추론 패턴에 고정되도록 보장한다.

성능 및 효율성

이 프레임워크는 MATH-500, GSM-100, AMC, AIME 2024, GPQA 등 벤치마크에서 Qwen2.5-Math-1.5B-Instruct, Qwen2.5-1.5B-Instruct, DeepSeek-R1-Distill (1.5B) 등 1.5B 파라미터 모델로 평가되었다. CG-TTRL은 표준 TTRL보다 일관되게 우수한 성능을 보였으며, DeepSeek-R1-Distill의 경우 기본 정확도 **37.2%**에서 CG-TTRL 적용 시 **59.4%**로 향상되었다(TTRL 적용 시 56.8%).

기기 내 배포를 위한 주요 이점은 다음과 같다:

• 도메인 변화 하의 강건성: GPQA와 AIME 같은 아웃 오브 도메인 벤치마크에서 상당한 성능 향상이 관찰되었다. CG-TTRL은 Qwen2.5-Math-1.5B-Instruct의 정확도를 기본 모델 대비 각각 **40.7%**와 133.3% 개선했다.
• 빠른 적응: 소수의 업데이트 단계만으로 강력한 성능을 달성한다. 1 에폭(3 업데이트 단계) 후 CG-TTRL은 평균 정확도를 **53.0%**까지 높인 반면, TTRL은 **49.5%**에 그쳤다.