AI BriefingBasalt 0.4.0, Qwen 3.8 27B 776 tok/s 성능으로 출시
Basalt 0.4.0: More models, still as fast - Qwen 27B up to 770 tok/s on a 5090
·2026.11.16 02:30
핵심 내용
Basalt 0.4.0이 Qwen 3.8 27B dense 모델을 출시했다.
자세히 보기
- Basalt 0.4.0에서 첫 번째 dense 모델인 Qwen 3.8 27B를 도입함, 구조화 출력 시 최대 776 tok/s, 대화 시 262 tok/s 달성함
- 양자화 모델은 KLD 0.0262로 BF16 풀 모델 대비 92.8%의 top-1 정확도를 유지함
- DeepSeek V4.1 Flash를 시작으로 멀티 모델 및 라우터 지원 구현함, 5090 + 5060 Ti 환경에서 대화 90 tok/s, 구조화 246 tok/s 성능 기록함
- 비디오 지원, 채팅 내 파일 첨부, 4k 컨텍스트에서 12,000 tok/s의 prefill 속도를 갖춘 최대 262K 컨텍스트 길이 등 신규 기능 추가함
Technical Details
- 4k 컨텍스트 기준 prefill 성능은 12,000 tok/s이며, 컨텍스트가 커질수록 속도 저하 발생함
- 산문 생성 속도는 194 tok/s임
- 채팅, 도구, 사고 과정, 이미지, 비디오 관련 수정 및 개선 사항 포함함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
