LLM의 추론 능력 학습

OpenAI가 새로운 모델 o1-preview를 공개했다. 이 모델은 코딩(Codeforces), 수학(AIME), 과학(GPQA) 등 고도의 추론이 필요한 분야에서 인간 전문가 수준의 성능을 보여준다.

o1은 대규모 강화 학습(Reinforcement Learning) 알고리즘을 통해 모델이 **Chain of Thought(사고의 연쇄)**를 활용하여 생산적으로 사고하는 법을 배운다. 특히 학습 시 투입되는 연산량(train-time compute)과 추론 시 소요되는 시간(test-time compute)이 늘어날수록 성능이 지속적으로 향상되는 특징을 보인다.

주요 벤치마크 성과는 다음과 같다:

• AIME (수학): GPT-4o가 평균 12%의 정답률을 보인 반면, o1은 단일 샘플로 74%, 재순위화(re-ranking) 시 93%의 정답률을 기록하며 미국 수학 올림피아드 상위 500위권 수준에 도달했다.
• GPQA (과학): 화학, 물리학, 생물학 분야의 전문가 수준인 GPQA-diamond 벤치마크에서 박사급 인력의 성능을 넘어선 최초의 모델이 되었다.
• MMMU (시각 인지): 시각 인지 기능이 활성화된 상태에서 78.2%를 기록하며 인간 전문가와 경쟁 가능한 수준을 달성했다.

o1은 문제를 해결할 때 스스로 오류를 인식하고 수정하며, 복잡한 단계를 단순화하거나 새로운 접근 방식을 시도하는 등 인간과 유사한 사고 과정을 거친다.