Grok-2 베타 출시

xAI가 이전 모델인 Grok-1.5보다 성능이 크게 향상된 Grok-2와 경량화 모델인 Grok-2 mini를 발표했다. Grok-2는 채팅, 코딩, 추론 분야에서 최첨단 성능을 제공하며, LMSYS Chatbot Arena에서 'sus-column-r'이라는 이름으로 테스트되었을 당시 Claude 3.5 Sonnet과 GPT-4-Turbo를 능가하는 성능을 기록했다.

현재 Grok-2 시리즈는 𝕏 플랫폼에서 베타 버전으로 이용 가능하며, 이달 말부터 기업용 API로도 제공될 예정이다.

주요 벤치마크 성과는 다음과 같다:

• GPQA, MMLU, MMLU-Pro, MATH 등 주요 학술 벤치마크에서 기존 모델 대비 유의미한 성능 향상을 달성했다.
• 시각적 추론 분야에서도 강점을 보여, MathVista(시각적 수학 추론)와 DocVQA(문서 기반 질의응답)에서 최고 수준의 성능을 기록했다.

내부적으로는 AI Tutor를 통해 지시 이행 능력과 사실적 정확성을 검증했으며, 𝕏 플랫폼 내 인터페이스를 새롭게 디자인하여 사용자 경험을 개선했다.