전통적 테스트의 종말: 에이전틱 개발이 50년 된 테스트를 무너뜨렸고, JiTTesting이 이를 되살릴 수 있다

Agentic software development로 코드가 더 빠르게 작성·리뷰·배포되면서, 기존 테스트 방식도 그 속도를 따라가야 하는 상황이 됐다. 정적 테스트 suite와 수작업 유지보수에 의존하는 방식은, 빠른 변경과 잦은 false positive 앞에서 한계에 부딪힌다.

**JiTTests(Just-in-Time Tests)**는 LLM이 pull request 시점에 즉석에서 테스트를 생성하는 접근이다. 이 글이 다루는 Catching JiTTests는 특히 코드 변경으로 생긴 regression을 찾는 데 초점을 맞추며, 테스트 코드를 사람이 작성하거나 리뷰하거나 계속 관리할 필요를 줄인다고 설명한다.

작동 흐름은 다음과 같다.

• 새 코드가 코드베이스에 들어온다.
• 시스템이 코드 변경의 의도를 추론한다.
• 무엇이 잘못될 수 있는지 보기 위해 mutant(의도적으로 결함을 넣은 코드 버전)를 만든다.
• 그 결함을 잡기 위한 테스트를 생성하고 실행한다.
• rule-based와 LLM-based assessors가 신호를 정제해 true positive에 집중한다.
• 엔지니어는 실제 버그가 발견됐을 때만 명확한 रिपोर्ट을 받는다.

핵심 가치는 테스트를 “코드 품질을 넓게 점검하는 도구”에서 “특정 변경에서 실제 결함을 찾아내는 도구”로 바꾸는 데 있다. 그 결과 유지보수 비용과 false positive 부담을 줄이면서, agentic development의 속도에 맞는 테스트 인프라를 만들 수 있다고 주장한다.