GH-ESD: 인스턴스 레벨 비전 작업을 위한 근거 기반 가설 유도 오류 슬라이스 발견 기술

기존의 비전 모델 오류 슬라이스(Error Slice) 발견 방식은 주로 표현 공간의 클러스터링이나 사전 정의된 속성에 의존했다. 하지만 이는 객체 탐지(Object Detection)나 세그멘테이션(Segmentation)처럼 맥락적 관계와 공간적 패턴이 중요한 인스턴스 레벨(Instance-level) 작업에서는 한계가 명확하다.

이를 해결하기 위해 제안된 GH-ESD(Grounded Hypothesis-Driven Error Slice Discovery)는 '생성 및 검증(Generate and Verify)' 프레임워크를 도입한다. 이 방식은 다음과 같은 단계로 작동한다.

• 가설 생성: LLM의 사전 지식과 시각적 근거를 결합해 관계형 오류 가설을 구축한다.
• 슬라이스 발견: VLM(Vision Language Model)을 통해 인스턴스 레벨에서 가설 슬라이스를 식별한다.
• 통계적 검증: 인스턴스 단위 오류에 대한 통계적 추세 분석을 통해 가설을 검증한다.

또한, 연구진은 탐지 및 세그멘테이션 실패에서 유도된 전문가 정의의 공간적 슬라이스를 포함하는 새로운 벤치마크인 GESD(Grounded Error Slice Dataset)를 함께 선보였다.

실험 결과, GH-ESD는 GESD 벤치마크의 탐지 작업에서 Precision@10을 기존 0.63에서 0.73으로 0.10 개선하며 성능을 입증했다. 이 기술은 모델의 개선을 위한 실행 가능한 해석력을 제공한다.