Reverify 공개, AI 바이너리 분석 환각 검증 도구

언어 모델이 소스 코드는 잘 읽지만 바이너리 분석 시 오프셋이나 구조를 지어내는 환각(hallucination) 문제를 해결하기 위한 도구 Reverify가 공개됐다. 이 프로젝트는 AI 모델의 가설을 실제 파일 바이트와 대조하는 결정론적 순수 파이썬 도구 모음으로, 판정 권한을 모델이 아닌 도구에 둠으로써 출력의 신뢰성을 확보한다.

핵심 기능 및 검증 방식

Reverify는 PE, ELF, Mach-O 파일 파싱, x86/x64/ARM/ARM64 역어셈블, CPU 에뮬레이션 등을 수행하며, 모델이 주장한 내용(바이트 위치, 패턴 존재 여부 등)을 VERIFIED, REFUTED, INCONCLUSIVE 중 하나로 판정한다. 검증된 결과만 보고되며, 반증된 주장은 KNOWN FALSE로 기록되어 재발 방지에 활용된다. 또한 정보량 가중치 시스템을 적용해 자명한 사실의 반복을 방지하고, 의미 있는 복원 결과에만 점수를 부여한다.

벤치마크 및 성능

벤치마크 테스트에서 모델이 교과서적인 함수 진입부 형태를 주장할 때, 실제 윈도우 시스템 DLL 19개와 aarch64 ELF 19개 파일에서 100%의 환각률을 보였다. 그러나 Reverify는 이를 모두 반증했으며, 오판정(false VERIFIED)은 0건이었다. 한 번의 피드백 라운드 이후에는 100%의 파일에서 실제 바이트와 일치하는 정답을 도출했다.

사용 및 설치

Reverify는 MIT 라이선스로 공개되었으며, pip install reverify로 설치 가능하다. CLI 및 MCP(Model Context Protocol) 서버로 동작하여 Claude Code, Cursor 등 AI 에이전트가 직접 도구를 호출할 수 있다. Ghidra 없이도 설치 및 사용이 가능하며, 필요 시 Capstone, Unicorn, LIEF, angr 등 성숙한 엔진을 백엔드로 교체할 수 있다.