Meta-Harness: 모델 하네스의 엔드투엔드 최적화

LLM 시스템의 성능은 모델 가중치뿐만 아니라 정보를 저장, 검색, 제시하는 코드인 **하네스(Harness)**에 크게 의존한다. 그러나 현재 하네스는 대부분 수동으로 설계되며, 기존의 텍스트 최적화 방식은 피드백을 지나치게 압축하여 이 환경에 적합하지 않다는 한계가 있다.

Meta-Harness는 LLM 애플리케이션을 위한 하네스 코드를 직접 검색하는 아우터 루프(outer-loop) 시스템이다. 이 시스템은 파일 시스템을 통해 이전 후보들의 소스 코드, 점수, 실행 트레이스를 모두 참조할 수 있는 **에이전트 기반 제안자(agentic proposer)**를 활용한다.

주요 실험 결과는 다음과 같다:

• 온라인 텍스트 분류: 기존 최신 컨텍스트 관리 시스템보다 성능을 7.7점 높이면서도 컨텍스트 토큰 사용량은 4배 절감했다.
• RAG 기반 수학 추론: IMO 수준의 문제 200개에 대해 5개 모델의 평균 정확도를 4.7점 향상시켰다.
• 에이전트 코딩: TerminalBench-2에서 기존의 정교한 수동 설계(hand-engineered) 베이스라인을 넘어섰다.

이러한 결과는 과거의 경험에 대한 풍부한 접근 권한이 자동화된 하네스 엔지니어링을 가능하게 한다는 점을 입증한다.