당근 SRE, action-runner-job-exporter로 GitHub Actions ARC Runner 관측 체계 구축
·2026.11.17 18:49
핵심 내용
당근 SRE가 만든 exporter로 Job 대기 현황을 파악해 ARC 병목을 찾아냈다.
자세히 보기
- GitHub Actions의 Job 대기 현황과 Runner 실행 상태를 파악하기 위해 action-runner-job-exporter를 개발함
- Collector, Webhook, StateStore로 구성된 exporter가 Job별 리소스 사용량과 대기 시간을 메트릭으로 제공함
- Webhook 재시작 시 오래된 스냅샷 복원으로 완료된 Job이 대기 상태로 잘못 집계되는 문제를 TTL 분리 및 리컨사이일로 해결함
- ARC 컨트롤러의 동시 처리 수를 2에서 5로 상향 조정해 대기 Job을 380개에서 168개로 줄이는 성과를 거둠
구성 요소 및 동작 방식
- Collector: EphemeralRunner status를 읽어 Runner Pod에 Job 이름을 라벨로 붙여 리소스 사용량과 연결함
- Webhook: GitHub workflow_job 이벤트를 수신해 대기 중 및 실행 중인 Job 수와 대기 시간을 집계함
- StateStore: S3에 상태 스냅샷을 저장해 Webhook 재시작 시에도 Job 상태를 유지함
운영 개선 및 활용 사례
- Job별 CPU와 메모리 사용량을 비교해 적절한 크기의 Runner 선택을 위한 대시보드를 운영함
- EphemeralRunner 컨트롤러의 작업 큐 증가와 worker 수 부족을 병목 원인으로 식별함
- GitHub API를 통해 상태가 멈춘 Job을 주기적으로 동기화하여 잘못된 대기 상태를 자동 수정함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.