Coding agents think ahead of time

LLM 기반 코딩 에이전트가 소프트웨어 엔지니어링 작업을 수행할 때, 모델의 **residual streams(잔차 흐름)**가 현재 코드의 상태(파싱 여부, 테스트 통과 여부, 회귀 발생 여부 등)를 선형적으로 인코딩하고 있음을 발견했습니다.

특히 주목할 점은 에이전트의 **'잠재적 프로그래밍 지평(Latent Programming Horizon)'**입니다. 연구에 따르면, 모델의 내부 상태를 통해 실제 코드가 수정되어 디스크에 기록되기 전이라도, 약 25단계 앞의 미래 수정 결과를 예측할 수 있는 능력이 확인되었습니다.

주요 연구 결과는 다음과 같습니다:

• 상태 디코딩: 로지스틱 회귀 프로브를 통해 코드의 정답 여부와 테스트 통과 여부를 높은 정확도(AUC 최대 0.83)로 예측 가능
• 미래 예측: 에이전트가 실제로 수행할 편집 작업의 결과를 실제 작업이 일어나기 전부터 내부적으로 표현함
• 일반화 능력: 학습되지 않은 새로운 벤치마크에서도 프로브의 예측 성능이 유지됨

이 연구는 코딩 에이전트의 작동 원리를 이해하기 위한 기계적 해석 가능성(Mechanistic Interpretability) 연구의 새로운 방향을 제시합니다.