Jev 1.13.0, SRE 진단에서 LLM 대비 200배 저렴하고 7배 빠른 성능 입증

성능 및 비용 효율성

Jev 1.13.0 모델은 LLM 에이전트 없이 구조화된 SRE 진단 파이프라인에서 작동하며, SREGym-Lite 데이터셋(21개 장애 시나리오)에서 **76.2%**의 진단 통과율을 달성했다. 이는 **GPT-5.6 Sol (medium)**의 **77.8%**와 유사한 성능이지만, 효율성은 크게 향상됐다.

• 속도: LLM 에이전트 기준선 대비 약 7배 빠름.
• 비용: 진단당 약 200배 저렴함.
• 지연 시간: 진단 중위 시간 14.6초, Jev API 중위 지연 시간 0.53초.
• 리소스 사용량: 105회 시도에서 총 입력 토큰 348만 개, 추정 추론 비용 $0.15.

파이프라인 아키텍처

시스템은 Kubernetes 객체, 이벤트, Pod 로그, 리소스 사용량을 수집하여 구성 요소별 요약을 생성하는 프로그래밍 방식의 Collector를 활용한다. Jev는 의심스러운 구성 요소를 선택하고 Collector가 제공한 번호가 매겨진 옵션 중에서 핵심 증거를 선택한다. Jev는 명령어나 최종 보고서를 생성하지 않으며, 제공된 옵션 중에서만 선택한다. 증거가 가설을 뒷받침하면 진단을 제출하고, 그렇지 않으면 다른 후보를 검토한다.

실패 모드 및 한계

Jev는 21개 장애 중 16개를 완전히 통과했으나, 특정 5개 장애에서는 5회 시도 모두 실패했다. 주요 실패 모드는 다음과 같다.

• 잘못된 단서 선택: edge_request_filter_cpu_saturation 시나리오에서 Jev는 실제 원인(비싼 정규식을 유발하는 조작된 WAF 요청) 대신 CPU 제한 변경을 잘못 지목하여 0.67점을 받았다.
• 핵심 증거 누락: search_rate_retry_collapse_hotel_reservation에서 Collector가 스냅샷에 재시도 설정 값을 포함하지 않아 Jev는 큐 깊이, 마감 시간, 재시도 간의 상호작용 루프를 놓쳤다. Jev는 속도 제한 백엔드에 집중하여 서비스 간 상호작용을 식별하지 못했다.

전략적 시사점

연구는 Jev가 속도와 비용 효율성으로 인해 유망한 1차 진단 도구임을 시사하며, LLM 에이전트는 넓고 유연한 조사에 더 적합하다고 제안한다. 주요 설계 과제는 클러스터 상태 데이터의 적절한 **세분화(granularity)**를 선택하는 것이다. 너무 거칠면 필요한 세부 정보가 숨겨지고, 너무 세밀하면 유용한 신호가 묻힌다. 향후 작업은 Jev를 SRE 워크플로에 'System One' 빠른 응답 구성 요소로 통합하는 것을 목표로 하며, GPT-6 Luna와 같은 소형 전문 모델을 사용하여 구조화된 텔레메트리를 Jev용 자연어로 변환할 수 있다.