검증 구멍 오럴

평가 지표 선택: 실제 실행 결과가 아니라 자연어 기반 metric에 의존
검증 신뢰성: 테스트에서 20% 수준의 false positive 발생
선정 적절성: 이런 결함이 있는데도 Oral 을 받은 이유에 대한 의문 제기

Was looking at a ICLR 2025 Oral paper and I am shocked it got oral [D]

·2026.04.15 15:12

핵심 내용

SQL code generation 평가에서 자연어 metric의 한계와 **20% false positive**가 지적됐다.

ICLR 2025 Oral로 선정된 한 논문이 SQL code generation 평가에서 execution metric 대신 natural language metric을 사용한 점이 문제로 지적됐다.

작성자는 해당 평가 방식을 다시 검토한 뒤, 직접 테스트에서 약 20% false positive rate를 확인했다고 주장한다.

핵심 쟁점은 다음과 같다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.