numbat: 14T 파라미터 Anthropic 미공개 모델 체크포인트 공개

Claude Code 소스 코드 유출에서 확인된 Anthropic의 차세대 모델 코드명 'numbat'의 중간 학습 단계 체크포인트가 공개되었다. 총 14조 파라미터 규모로, 하이브리드 GDN/MLA 아키텍처와 1,224개의 전문가를 가진 MoE 구조를 갖춘 대형 언어 모델이다.

모델은 NVFP4 양자화 형식으로 저장되어 있으며, 772개의 샤드로 나뉘어 총 7.72TB 용량을 차지한다. 저장소에는 모델 구성 파일과 함께 완전한 참조 구현 코드가 포함되어 있어, 표준 라이브러리를 통해 텐서를 로드하고 추론을 실행할 수 있다.

이 체크포인트는 약 196만 스텝 중 183만 스텝까지 진행된 프리트레이닝 단계의 원본 출력물이다. 포스트 트레이닝이나 RLHF 과정이 적용되지 않은 상태이므로, 일반적인 대화형 AI 서비스보다는 대규모 모델 구조 분석이나 연구 목적으로 적합하다.

단일 디바이스에서도 동작하는 참조 구현이 제공되지만, 실제 추론을 위해서는 상당한 양의 GPU 메모리와 저장 공간이 필요하다. 미공개 모델의 내부 구조와 학습 로그를 직접 확인하고 싶은 개발자에게 유용한 자료다.