AI BriefingStepFun Step 5 Preview 가중치 공개, H200 8장으로 구동 가능
StepFun, Step 5 Preview 가중치 공개: H200 8장에서 도는 FP8 체크포인트 (단, 상업적 사용 시 별도 계약 필요)
·2026.10.26 11:30
핵심 내용
StepFun이 600B MoE 모델 Step 5 Preview 가중치를 공개하고 H200 8장 구동 가능함을 확인했다.
자세히 보기
- StepFun이 10월 15일 Step 5 Preview의 FP8, BF16, NVFP4 가중치를 Hugging Face 및 ModelScope에 공개함
- 전체 600B, 활성 27B 파라미터의 희소 MoE 구조로 최대 1M 토큰 컨텍스트 및 이미지 입력 지원
- FP8 체크포인트는 약 650GB 용량으로 H200 8장(1,128GB) 또는 B300 4장(1,152GB)에서 구동 가능
- NVIDIA GB300 NVL72에서 NVFP4 체크포인트로 GPU당 초당 약 7,800 토큰 처리량 달성 (입력 8K, 출력 1K 조건)
기술 구조 및 최적화
- '좁고 깊은(Narrow but Deep)' 설계로 은닉 차원 4,096, 92층 구조 채택
- Sparse GQA 메커니즘 적용으로 인덱서 지연 7.89초 감소, 어텐션 지연 0.15초 증가
- FP8 학습 안정화를 위해 FP32 은닉 상태 및 RMSNorm 스케일 사용, 세밀한 그래디언트 클램프 적용
서빙 및 라이선스
- vLLM v0.32.0 정식 릴리스에는 미포함, 전용 Docker 이미지 사용 필요
- StepFun Model License 1.0 적용, 연 매출 2천만 달러 초과 MaaS 사업자 및 하드웨어 제조사는 별도 상업 계약 필요
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
