'The Singularity Gate' 벤치마크 공개
The Singularity Gate: a benchmark for paradigm-shifting scientific discoveries published strictly after model cutoff
·2026.05.26 05:00
AI가 학습 데이터 컷오프 이후의 과학적 발견을 예측할 수 있는지 테스트하는 벤치마크가 공개되었습니다.
The Singularity Gate는 프런티어 AI 모델이 학습 데이터 컷오프(cutoff) 이후에 발표된 패러다임 전환적 과학적 발견을 예측할 수 있는지를 측정하는 새로운 벤치마크입니다.
이 능력은 자율적인 AI 기반 과학적 발견(AI-driven discovery)을 위해 필수적인 요소로 간주됩니다. 모델이 과학적 발견을 할 수 있음을 보장하지는 않지만, 이 테스트를 통과하지 못한다면 해당 능력이 결여되었음을 의미합니다.
테스트 결과, Opus가 17.75%의 부분 점수를 기록하며 최고 점수를 받았으나, 모든 응답 모델에서 **완전 정답률(Fully-correct outcome rate)은 0%**를 기록했습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.