LG AI Research, ICLR 2026서 정적 벤치마크 한계 극복하는 ATAD 프로토콜 제안

• LG AI Research가 ICLR 2026에서 MMLU, GSM8K 등 정적 벤치마크의 포화 및 데이터 오염 문제를 해결하기 위한 동적 평가 프로토콜 ATAD(Agent-Centric Text Anomaly Detection)를 제안함
• GPT-4o, Claude-3.5-Sonnet, Gemini-2.0-Flash 실험 결과, 프로토콜이 모델의 기본 역량을 넘어선 난이도로 문제를 반복적으로 생성하면서 전체 성능이 약 21.3~33.9% 하락함
• Orchestrator 에이전트가 문제 품질을 크게 개선하여 Validity를 4.30에서 4.85, Coherence를 3.71에서 4.74, Fairness를 3.20에서 4.65로 각각 높이고 승인율(Approval Rate)을 38.14%에서 87.14%로 향상시킴
• ATAD는 평가를 고정된 데이터셋이 아닌 공진화(co-evolving) 프로토콜로 정의하여 새 모델에 맞춰 벤치마크를 재구성하지 않고도 적응 가능하게 만들었으며, 반복 생성 시 결과의 안정성을 입증함

Protocol Structure

• Teacher가 문제를 생성하고 Student가 해결하며, Orchestrator가 명확성, 논리적 일관성, 공정성을 검증하는 세 가지 에이전트가 상호작용함
• Failure-Driven Sample Finalization 방식은 Student가 실패할 때만 문제를 벤치마크 항목으로 확정하여 난이도가 모델의 현재 한계와 일치하도록 보장함
• 문장 간 논리적 추론을 테스트하고 표면적 패턴 매칭을 방지하기 위해 7가지 구체적인 Text Anomaly Detection 작업(T1-T7)을 포함함

Experimental Findings

• 7가지 작업 중 어느 모델도 일관되게 최고 성능을 달성하지 못해 각 모델마다 고유한 추론의 맹점이 존재함을 드러냄
• Orchestrator 없이 GPT-4o의 정확도는 68.29%로, Orchestrator 사용 시 72.43%보다 낮았으며 이는 문제의 모호성으로 인한 낮은 정확도만으로는 더 나은 벤치마크를 의미하지 않음을 시사함
• Orchestrator는 논리적 결함이나 모호성으로 인한 인위적 난이도를 방지하여 성능 저하가 실제 추론 한계를 반영하도록 보장함