Karrot SRE, GitHub Actions ARC 러너 모니터링용 action-runner-job-exporter 개발
·2026.11.17 18:49
핵심 내용
Karrot SRE 도구가 ARC 환경의 대기 작업과 러너 병목 문제를 해결했다
자세히 보기
- Karrot SRE가 ARC 내장 메트릭의 한계를 보완하기 위해 action-runner-job-exporter를 개발함. 해당 도구는 어떤 GitHub Actions 작업이 러너를 대기 중인지, 어떤 러너 포드가 특정 작업을 실행 중인지 시각화함.
- Exporter는 세 가지 바이너리로 구성됨. Collector는 EphemeralRunner 상태를 활용해 작업 이름을 러너 포드에 매핑하고, Webhook은 GitHub 웹훅을 통해 대기 중이거나 진행 중인 작업을 추적하며, StateStore는 재시작 시에도 상태를 유지하도록 S3에 영속화함.
- 운영 환경에서 상태 관리 문제가 드러남. 오래된 스냅샷으로 인해 완료된 72개 작업이 대기 상태로 표시되고, 웹훅 전달 실패로 인해 잘못된 계수가 발생함. 이는 보유 기간을 분리하고 조정(reconciliation) 로직을 구현하여 해결함.
- 도구를 통해 ARC 컨트롤러 병목 현상을 식별함. runnerMaxConcurrentReconciles 값을 2에서 5로 올리자 10분 만에 컨트롤러 워크 큐가 669에서 233으로, 대기 작업이 380에서 168으로 감소함.
- 실제 CPU와 메모리 사용량을 설정된 요청량과 비교하여 러너 규모를 적정화하는 데에도 활용됨. 이를 통해 리소스 할당을 최적화하고 스케줄링 지연을 줄이는 데 기여함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.