Datadog, 시스템 레벨 코드 리뷰에 Codex 도입

Datadog은 복잡한 분산 시스템을 모니터링하는 플랫폼을 운영하는 만큼, 코드 변경이 시스템 전체에 미치는 영향을 파악하는 것이 매우 중요하다. 기존의 정적 분석이나 규칙 기반 도구는 표면적인 문제만 잡아낼 뿐, 시스템 전반의 복잡한 상호작용을 파악하는 데 한계가 있었다.

이를 해결하기 위해 Datadog의 AI DevX 팀은 OpenAI의 코딩 에이전트인 Codex를 개발 워크플로우에 통합했다. Codex는 단순한 린터(linter)를 넘어, 코드 변경 사항이 다른 모듈이나 서비스에 미치는 영향을 추론할 수 있는 시스템 레벨의 추론 능력을 제공한다.

Datadog은 과거의 장애 사례를 재현하는 '인시던트 리플레이 하네스(incident replay harness)'를 통해 Codex의 성능을 검증했다. 테스트 결과, Codex는 검토된 장애 사례의 약 **22%**에서 엔지니어가 놓쳤던 위험 요소를 찾아냈으며, 이는 기존에 평가된 다른 도구들보다 뛰어난 성과였다.

Codex는 다음과 같은 핵심적인 위험을 식별한다:

• 변경 사항(diff)에 포함되지 않은 모듈과의 상호작용 식별
• 서비스 간 결합도가 높은 영역의 테스트 커버리지 누락 확인
• 다운스트림 위험을 초래할 수 있는 API contract 변경 사항 강조

현재 1,000명 이상의 엔지니어가 Codex를 정기적으로 사용하고 있다. Codex는 단순한 오류 탐지를 넘어 엔지니어가 시스템 설계에 더 집중할 수 있도록 돕는 역할을 하고 있다.