LLM이 A/B 테스트에서 인간을 대체할 수 있는 조건은?

LLM을 사용해 실제 사용자 대신 실험을 수행하면 시간과 비용을 획기적으로 줄일 수 있다. 하지만 LLM 예측이 실제 사용자의 반응을 완벽히 대체하려면, 실험이 관심 있는 **처치 효과(treatment effect)**를 식별할 수 있다는 통계적 보장이 전제되어야 한다.

Upworthy 데이터셋을 활용한 실험 결과, gpt-4o-mini의 가공되지 않은(raw) 예측값은 실제 인간의 처치 효과를 단 **39%**만 회복했다. 이는 LLM의 결과가 단순히 노이즈가 있는 것이 아니라, 처치 효과를 0으로 수렴하게 만드는 **체계적이고 방향성 있는 편향(systematic bias)**을 가지고 있음을 의미한다. 이러한 편향은 조직이 제품의 가치를 과소평가하게 만들어 잘못된 의사결정을 유도할 수 있다.

LLM 예측이 유효한 대리 지표(surrogate)가 되기 위해서는 다음 두 가지 조건이 충족되어야 한다.

• 대리성(Surrogacy): LLM의 출력이 처치 효과가 인간의 결과로 이어지는 과정을 완전히 매개해야 한다. 즉, LLM이 인간의 반응에 영향을 미치는 모든 핵심 요소를 포착해야 한다.
• 비교 가능성(Comparability): LLM 예측과 인간의 결과 사이의 관계인 **보정 함수(calibration function)**가 새로운 실험에서도 과거 데이터와 동일하게 유지되어야 한다.

결론적으로 LLM 기반 A/B 테스트는 가능하지만, 이는 설계에 의한 것이 아니라 특정 가정에 기반한 것이며, 새로운 처치가 과거 실험과 멀어질수록 그 신뢰도는 낮아진다.