핵심 요약
당근이 ARC Runner를 관측하기 위해 action-runner-job-exporter를 도입하고 Collector, Webhook, StateStore의 3바이너리로 Runner Pod와 Job의 관계를 가시화했습니다.
구현 방법
- Collector: EphemeralRunner 생성/변경/삭제를 감시해 Runner Pod 이름, Job 정보를 메트릭 arc_runner_job_info로 노출
- Webhook: workflow_job 이벤트를 수집해 대기/진행 상태를 github_workflow_* 메트릭으로 집계
- StateStore: Webhook 상태를 S3 유사 저장소에 보관하고 재시작 시 복원 가능하게 함
주요 결과
- 대기 중인 Job과 Runner 매칭 가시화로 지연 원인 파악이 용이해졌습니다
- 컨트롤러 처리량 증가로 대기 큐가 감소하고 작업 상태 추적이 개선되었습니다
- 데이터 보관 정책을 분리하고 tombstone/스냅샷 TTL을 각각 3시간, 10분 등으로 조정했습니다
- 재전송/리컨사일 기반 reconciliation으로 상태 정합성이 강화되었습니다



