AI BriefingBottleCap, Gemma-4-26B-A4B 기반 ThinkingCap 출시... thinking token 평균 39% 절감
·2026.10.23 23:43
핵심 내용
ThinkingCap가 thinking token을 최대 69.1% 절감하며 정확도는 0.15pp만 하락했다.
자세히 보기
- BottleCap AI가 Google의 Gemma-4-26B-A4B를 파인튜닝한 ThinkingCap-gemma-4-26B-A4B-it를 출시함. 정확도 저하 없이 평균 38.9%의 thinking token 사용량 절감 달성함.
- 12개 벤치마크에서 평균 정확도 변화는 -0.15pp로, 5개 벤치마크에서 성능이 향상됨. AA-LCR에서 4.00pp로 가장 큰 하락폭을 기록함.
- 루프 오류가 베이스 모델의 3.64%에서 ThinkingCap 버전의 0.76%로 감소함. AIME 2026과 HMMT 같은 수학 벤치마크에서 가장 큰 감소폭을 보임.
- 해당 모델은 Hugging Face에서 GGUF 빌드와 함께 제공됨. 원본과 동일한 vLLM 서빙 스택 및 샘플링 설정을 사용하여 드롭인 교체로 사용 가능함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
