인과 추론을 위한 인간 보조형 에이전트 워크플로우

데이터 분석이 소프트웨어 에이전트에게 위임되면서, 결과의 타당성을 검증하는 **오버사이트(Oversight)**의 중요성이 커지고 있습니다. 특히 전문 지식이 필요한 관측 인과 추론(Observational Causal Inference, OCI) 분야에서는 에이전트가 편향을 제대로 처리했는지 판단하기 어렵다는 과제가 있습니다.

넷플릭스는 이를 해결하기 위해 oci-agent라는 에이전트 워크플로우를 설계했습니다. 이 시스템은 반복적이고 오류가 발생하기 쉬운 작업(공변량 균형 확인, 민감도 분석 등)을 자동화하여, 인간 전문가가 질문 구성이나 가설 검증 같은 고차원적인 작업에 집중할 수 있도록 돕는 '인간 보조형(Human-Augmenting)' 방식을 지향합니다.

이 워크플로우는 다음과 같은 설계 진단(Design Diagnostics) 원칙을 준수합니다.

• 공변량 균형(Covariate balance): 가중치 적용 후 처리군과 대조군 사이의 표준화된 평균 차이를 0.2 미만으로 유지
• 중첩(Overlap): 처치 확률(Propensity score)을 0.1에서 0.9 사이로 제한
• 위약 결과(Placebo outcome): 처치 전 변수에 대한 효과가 0에 가까운지 확인
• 숨겨진 혼란 변수에 대한 민감도(Sensitivity to hidden confounders) 분석

넷플릭스는 이 에이전트를 ACIC(Atlantic Causal Inference Conference) 데이터셋으로 테스트했으며, 단일 실행(One-shot) 방식보다 체계적으로 우수한 성능을 보였으며 수동으로 조정된 벤치마크와 비교해도 경쟁력 있는 결과를 입증했습니다.