BeeLlama v0.2.0 출시, 추론 속도 대폭 향상
BeeLlama v0.2.0 – major DFlash update. Single RTX 3090: Qwen 3.6 27B up to 164 tps (4.40x), Gemma 4 31B up to 177.8 tps (4.93x). Prompt processing speed near baseline.
·2026.05.23 02:37
BeeLlama v0.2.0 업데이트를 통해 Qwen 3.6 및 Gemma 4 모델의 추론 속도가 최대 4.9배 향상되었다.
추론 최적화 도구인 BeeLlama v0.2.0이 출시되었다. 이번 업데이트는 DFlash 구현을 통한 성능 최적화에 집중했다.
주요 업데이트 사항은 다음과 같다:
- Gemma 4 31B 지원: 효율적인 DFlash 구현 및 비전 기능 추가.
- Qwen 3.6 27B 최적화: DFlash 오버헤드 감소, 프리필(prefill) 처리 개선, K/V 프로젝션 캐싱 및 CUDA 실행 안정성 강화.
- 기타 개선: DFlash GGUF 지원, 추론(reasoning) 및 도구 호출(tool-call) 경계 강화, 검증기(verifier) 경로 최적화.
RTX 3090 환경에서의 벤치마크 결과, 기존 대비 비약적인 속도 향상을 기록했다:
- Qwen 3.6 27B: 최대 163.9 tps (기존 대비 4.40배 향상).
- Gemma 4 31B: 최대 177.8 tps (기존 대비 4.93배 향상).
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.