Thinking Machines, 4비트 정밀도로 Inkling 2 Small 학습해 프리트레이닝 68시간 달성
·2026.11.16 09:00
핵심 내용
Thinking Machines가 4비트 정밀도로 Inkling 2 Small을 학습해 프리트레이닝 시간을 68시간으로 단축했다.
자세히 보기
- Thinking Machines가 NVIDIA Grace Blackwell Ultra(GB300) 하드웨어에서 Inkling 2 Small 모델을 네이티브 4비트 포워드로 엔드투엔드 학습함. 해당 정밀도 기준 최대 규모임.
- NVFP4 포워드와 MXFP8 백워드를 결합한 혼합 정밀도 레시피를 적용하여, 전체 MXFP8 학습 대비 프리트레이닝 8%, RL 20%의 벽시계 속도 향상을 달성함.
- GB300 NVL72 랙에서 Inkling 2 Small과 유사한 모델의 프리트레이닝 시간을 수 주에서 68시간으로 단축하고, 컴퓨트 효율 손실은 약 2% 수준으로 유지함.
- NVLink 병목 현상을 해결하기 위해 NVFP4로 토큰을 디스패치하고, 32차원 랜덤 하다마드 변환(RHT)과 S2F6 양자화를 결합 연산에 적용하여 측정 가능한 정확도 저하 없이 모델 성능을 유지함.
Precision and Hardware
- GB300에서 NVFP4는 15 PFLOPS의 처리량을 제공하며, 이는 MXFP8의 5 PFLOPS, BF16의 2.5 PFLOPS 대비 우위임.
- 레시피는 안정성 유지를 위해 마지막 16.6% 레이어를 MXFP8로 유지하고, 전문가 레이어에는 전용 커널을 갖춘 NVFP4를 사용함.
- 내부 개발 커널인 BBBK(Big Beautiful Blackwell Kernel)는 GB300 전용 2SM UMMA 명령어를 활용해 Tensor Cores, ALU, NVLink를 동시에 포화 상태로 가동함.
Technical Implementation
- Blackwell GPU의 하드웨어 가속을 지원받아, 포워드 텐서를 확률적 반올림(SR)으로 재양자화하여 백워드 패스의 그라디언트 편향을 완화하고 기댓값 일치성을 보장함.
- 활성화 양자화 오차를 줄이기 위해 Four Over Six 기법을 적용하고, 가중치 양자화에는 전문가별 외부 스케일을 사용함.
- 결합 전송에 사용되는 S2F6는 8비트 고정 소수점 형식(부호 포함 정수 2비트, 소수 6비트)으로, 값당 데이터 용량을 16비트에서 8.25비트로 축소함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.