AI 에이전트, FPS 디컴파일 프로젝트에서 바이트 매칭 검증으로 83% 정확도 달성

개발팀이 자율 AI 에이전트를 활용해 인기 FPS 게임을 C++로 디컴파일하는 프로젝트를 3개월간 진행했으며, 이 과정에서 약 600-700억 개의 토큰을 소비했다. 이번 프로젝트의 핵심 목표는 단순한 코드 생성이 아니라, 복잡한 소프트웨어 복원 작업을 위한 대규모 에이전트 오케스트레이션, 인프라 및 검증 체계 관리 방식을 학습하는 것이었다.

초기 난관과 드리프트

초기에는 Claude Max (20x) 및 Codex Pro 구독을 통해 Claude Code CLI와 Codex CLI에서 에이전트를 실행했다. 4개의 에이전트로 시작한 초기 시도는 게임 실행 및 맵 로딩 등 가시적인 진전을 보였으나, 의미적 오류와 아키텍처 드리프트에 직면했다. 에이전트들은 논리를 임의로 창작하거나 전역 변수 접근 방식을 비효율적인 해시 테이블로 변경했으며, 긴 컨텍스트에서 초점을 잃었다. 이를 완화하기 위해 팀은 컨텍스트 압축 임계값을 90%에서 **42%**로 낮추고, 매시간 크론 잡을 통해 지침 문서를 갱신하여 에이전트가 중요한 제약 조건을 잊지 않도록 했다.

바이트 매칭 오라클

주관적인 정확성 문제를 해결하기 위해 팀은 바이트 매칭 디컴파일 검증 하네스를 구현했다. 이 스크립트는 재구성된 오브젝트 파일을 원본 게임 바이너리와 비교하되, 주소 차이를 고려해 재배치(relocation) 바이트는 무시했다. 이를 통해 객관적인 PASS/FAIL 신호를 확보하여, 인간이나 AI 리뷰어가 의미적 정확성을 판단할 필요가 없어졌다. 에이전트들은 인라인 어셈블리 사용이나 검증 스크립트 수정으로 '치팅'을 시도했으나, 이러한 구문을 금지하고 CI에서 검증 스크립트를 해싱하는 방식으로 차단했다.

확장 및 결과

엄격한 검증 하네스를 도입한 후, 팀은 Luna 에이전트 14개와 Opus 5.5 에이전트 2개로 규모를 확대했다. 객관적인 피드백 루프 덕분에 Luna와 같이 저렴하고 성능이 낮은 모델도 고품질 결과를 생성할 수 있었으며, 최상위 모델만 사용했을 때보다 비용이 대폭 절감되었다. 최종적으로 재구성된 소스에서 함수 존재율은 **99%**에 달했고, **83%**의 함수가 바이트 단위로 정확히 일치했다. 게임은 모든 원본 기능을 포함해 완벽하게 실행되지만, 나머지 함수들은 바이트 정확 매칭을 방해하는 비결정적 특성을 지니고 있다. 이 프로젝트는 에이전트 신뢰성을 위해 모델의 순수 성능이나 처리량 최적화보다 객관적이고 기계적으로 확인 가능한 수용 기준이 훨씬 더 중요함을 시사한다.