미래 예측 벤치마크 FutureBench 공개

기존 AI 벤치마크는 과거의 지식이나 이미 해결된 문제에 집중되어 있어, 데이터 오염(Contamination)과 리더보드 조작 문제에서 자유롭지 못하다.

FutureBench는 AI 에이전트가 지정학적 변화, 경제 흐름, 기술 트렌드 등 미래 사건을 예측하는 능력을 평가하는 새로운 벤치마크를 제안한다. 미래 예측은 데이터가 아직 존재하지 않으므로 데이터 오염이 원천적으로 불가능하며, 시간이 흐른 뒤 결과가 명확히 드러나므로 객관적인 검증이 가능하다는 장점이 있다.

FutureBench는 다음과 같은 접근 방식을 사용한다:

• 뉴스 기반 질문 생성: 에이전트가 주요 뉴스 사이트를 스크랩하고 분석하여, 발생 가능한 미래 시나리오에 대한 예측 문제를 생성한다.
• 예측 시장 활용: 실제 예측 시장과 뉴스 데이터를 결합하여, 단순 패턴 매칭이 아닌 고도의 추론이 필요한 시나리오를 구성한다.

이 벤치마크는 에이전트가 정보를 검색하고 복잡한 인과관계를 추론하여 실질적인 가치를 창출할 수 있는지를 측정하는 데 중점을 둔다.