추론 비용 절감 위한 컴파일 및 증류 기술 주목

2026년 9월 14일부터 20일까지의 AI/ML 논문 동향을 정리한 리뷰다. 이번 주 선정된 논문들은 대규모 언어 모델의 추론 비용과 지연 시간을 해결하기 위해 무거운 탐색과 연산을 학습 단계로 옮기는 '사전 컴파일' 및 '증류' 연구들이 돋보였다.

추론 효율 및 모델 최적화

• Compile by Training: 자연어 명세를 원격 모델 호출 대신 재사용 가능한 독립적인 로컬 신경망 함수로 변환하는 컴파일 방식을 제안했다. FuzzyBench-Hard에서 의미적 정확도 83.6%를 달성했으며, 컴파일 시간은 약 1분 소요되나 추론 시 원격 호출을 제거해 장기 운용 시 지연과 비용을 줄인다.
• R4T: 강화 학습으로 얻은 고품질의 검색 능력을 단일 패스로 동작하는 경량 디퓨전 모델에 증류하는 방식이다.
• Breaking the Token Ceiling: 교사 모델의 지식을 바이트(Byte) 단위의 소형 모델에 증류하여 토큰 기반 방식의 성능 상한을 돌파하는 연구다. End-Of-Token-1B 모델은 학습 데이터를 1/6로 줄이고도 동등한 성능을 내며, 로짓 저장 비용을 1/5로 절감했다.

에이전트 구조

• Harness Design: 코딩 에이전트의 성능이 모델 자체보다 planning, action space, context management 등 하네스 설계에 크게 좌우됨을 지적하며, 기존 연구의 한계를 분석했다.