ARC-AGI 리더보드

ARC-AGI는 AI의 유동 지능을 측정하는 지표로 진화해 왔으며, 최신 버전인 ARC-AGI-3는 AI 에이전트가 새로운 상호작용 환경에 즉각적으로 적응하는 능력을 평가한다.

리더보드는 다음과 같은 핵심 데이터를 시각화하고 분석한다:

• Reasoning Systems: 추론 시간 증가에 따른 성능 변화(Asymptotic behavior)를 보여주는 추론 시스템 트렌드 라인
• Base LLMs: GPT-4.5, Claude 3.7 등 추가 추론 없이 단일 샷(Single-shot)으로 수행되는 기본 모델 성능
• Kaggle Systems: 엄격한 계산 예산($50) 하에서 작동하는 Kaggle 챌린지용 고효율 시스템

특히 성능뿐만 아니라 **태스크당 비용(Cost-per-task)**과 성능 간의 관계를 분석하여, 최소한의 자원으로 문제를 해결하는 **효율성(Efficiency)**을 핵심 지표로 다룬다.