Apple 연구, 복잡한 MLE 하네스보다 최소 하네스 코딩 에이전트가 성능 우위 없음 확인

자율 머신러닝 엔지니어링(MLE) 에이전트는 긴 작업 주기의 한계를 극복하기 위해 멀티 에이전트 오케스트레이터나 전용 검색 서브에이전트 같은 복잡한 하네스를 사용하는 경우가 많습니다. 그러나 Apple과 EPFL의 최신 연구는 이러한 복잡성이 불필요할 수 있음을 시사합니다. 연구진은 동일한 프론티어 LLM 백본과 동일한 시간 예산을 적용했을 때, 오픈소스 최첨단 하네스가 최소 하네스 코딩 에이전트 단일 세션보다 성능 우위를 보이지 않는다고 밝혔습니다.

최소 하네스 vs 복잡한 오케스트레이터

이 연구는 LLM 백본이 성능의 주요 동인이며, 코딩 에이전트 환경에서 추가적인 기계 장치 계층은 불필요하다고 주장합니다. 저자들은 read, write, bash 같은 기본 원시를 통해 실행 환경에 직접 접근하는 에이전트와 복잡한 시스템을 비교했습니다. 그 결과, 현재 MLE 벤치마크에서 수작업으로 제작된 하네스는 낮은 투자 대비 효과를 보였습니다. 이는 강력한 모델이 이미 존재하는 상황에서 이러한 시스템을 정교하게 만드는 데 드는 노력이 낭비될 수 있음을 의미합니다.