LLM 연구 에이전트, 벤치마크 과적합 없이 일반화하는 이유: '압축성'이 핵심

ML 연구 에이전트가 벤치마크를 반복적으로 최적화(hill-climbing)하면서도 과적합되지 않는 현상을 **'압축성(compressibility)'**으로 설명한다. 성공적인 ML 전략은 학습 데이터를 암기할 공간이 없는 짧은 설명으로 기술될 수 있으며, 이는 데이터의 구조적 본질을 포착했음을 의미한다.

압축을 통한 일반화 증명

연구팀은 'Certificate of Output Compression' 메커니즘을 통해 이를 검증했다. Explorer가 검증 세트를 참고해 최적화한 전략을 Compressor가 극히 짧은 프롬프트(수 토큰)로 압축하고, Reproducer가 이 프롬프트와 훈련 데이터만으로 전략을 재현했다. Reproducer가 Explorer의 성능을 일치시키면, 검증 세트 의존 정보가 최소한으로 전달되어 전략이 압축 가능하다는 것이 증명된다.

실험 결과 및 한계

• 압축 성공률: 8개 데이터셋에서 32-token 프롬프트로 성능 대부분을 재현했으며, LM 전략은 16-token까지 압축해도 held-out 성능 손실이 없었다.
• 정보 병목 검증: 1-bit 피드백만 제공해도 동일한 전략이 발견되었으며, 의도적 과적합 유도 시 압축 파이프라인을 거치면 검증 세트 특이적 이점이 소멸했다.
• 결론: 실제로 작동하는 ML 레시피는 단순하며, 고정된 벤치마크의 성과가 신규 데이터로 전이되는 현상은 이러한 압축성에서 기인한다.