AST-grep가 Tree-sitter를 Rust로 재작성하여 성능을 30% 향상시킨 방법

구조적 코드 검색 도구인 ast-grep이 기존의 Tree-sitter C 코어를 Rust로 재작성하여 성능을 대폭 개선했습니다.

주요 성능 지표는 다음과 같습니다:

• Raw parsing: 처리량(Throughput) 약 29.74% 향상
• Tree traversal: 처리량 약 10.16% 향상
• End-to-end (ast-grep): 전체 실행 시간(User CPU) 약 22.2% 감소

이번 재작성은 단순히 언어를 변경한 것이 아니라, AI 코딩 에이전트가 전체 파일 스냅샷을 분석하는 워크로드에 최적화된 런타임을 구축하는 데 중점을 두었습니다. 이를 위해 기존의 WebAssembly 컴파일 언어의 네이티브 로딩 및 증분(incremental) 트리 재사용 기능은 제거되었으나, 에이전트용 워크로드에서는 훨씬 효율적인 성능을 보여줍니다.

특히 메모리 사용량 측면에서도 큰 진전이 있었습니다. TypeScript 스트레스 테스트 환경에서 이전에는 1 GiB 이상을 사용하던 메모리 피크치가 현재는 91.2 MiB 수준으로 관리되고 있습니다.