당근 SRE, action-runner-job-exporter로 GitHub Actions ARC Runner 관측 체계 구축

·2026.11.17 18:49

핵심 내용

당근 SRE가 만든 exporter로 Job 대기 현황을 파악해 ARC 병목을 찾아냈다.

1 / 14

자세히 보기

  • GitHub Actions의 Job 대기 현황과 Runner 실행 상태를 파악하기 위해 action-runner-job-exporter를 개발함
  • Collector, Webhook, StateStore로 구성된 exporter가 Job별 리소스 사용량과 대기 시간을 메트릭으로 제공함
  • Webhook 재시작 시 오래된 스냅샷 복원으로 완료된 Job이 대기 상태로 잘못 집계되는 문제를 TTL 분리 및 리컨사이일로 해결함
  • ARC 컨트롤러의 동시 처리 수를 2에서 5로 상향 조정해 대기 Job을 380개에서 168개로 줄이는 성과를 거둠

구성 요소 및 동작 방식

  • Collector: EphemeralRunner status를 읽어 Runner Pod에 Job 이름을 라벨로 붙여 리소스 사용량과 연결함
  • Webhook: GitHub workflow_job 이벤트를 수신해 대기 중 및 실행 중인 Job 수와 대기 시간을 집계함
  • StateStore: S3에 상태 스냅샷을 저장해 Webhook 재시작 시에도 Job 상태를 유지함

운영 개선 및 활용 사례

  • Job별 CPU와 메모리 사용량을 비교해 적절한 크기의 Runner 선택을 위한 대시보드를 운영함
  • EphemeralRunner 컨트롤러의 작업 큐 증가와 worker 수 부족을 병목 원인으로 식별함
  • GitHub API를 통해 상태가 멈춘 Job을 주기적으로 동기화하여 잘못된 대기 상태를 자동 수정함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.