Claude 2

Anthropic이 성능과 안전성을 대폭 개선한 신규 모델 Claude 2를 발표했다. 이번 모델은 API와 새로운 베타 웹사이트인 claude.ai를 통해 이용할 수 있다.

주요 벤치마크 성능은 다음과 같다:

• 변호사 시험(Bar exam) 객관식 부문 76.5% 기록 (Claude 1.3의 73.0% 대비 향상)
• GRE 읽기 및 쓰기 시험 상위 90% 성적 달성
• Codex HumanEval(Python 코딩 테스트) 71.2% 달성 (56.0% 대비 대폭 상승)
• GSM8k(초등 수학 문제) 88.0% 달성

사용자는 최대 100K 토큰의 컨텍스트 창을 활용해 수백 페이지의 기술 문서나 책을 처리할 수 있으며, 메모나 편지 같은 긴 문서도 한 번에 작성할 수 있다.

안전성 측면에서는 레드팀(Red-teaming) 평가를 통해 Claude 1.3 대비 유해하지 않은 응답을 제공하는 능력이 2배 향상되었다. 현재 미국과 영국에서 베타 서비스를 시작했으며, 향후 글로벌 서비스 확대를 계획하고 있다.