AI BriefingQwen 3.6 대승
Qwen 3.6 35B crushes Gemma 4 26B on my tests
·2026.04.18 05:15
핵심 내용
30k LOC 에이전트 평가에서 Qwen 3.6 35B가 Gemma 4 26B를 앞섰다.
자세히 보기
개인 평가 하네스에서 Qwen3.6-35B-A3B와 Gemma 4-26B-A4B를 같은 조건으로 비교했다.
하네스는 약 30k LOC 규모의 저장소에서 의도적으로 넣은 37개 문제를 에이전트 방식으로 수정하게 하고, 40~60페이지 PDF에서 핵심 정보를 추출·요약·평가하는 과제도 포함한다.
평가 항목은 다음 다섯 가지였다.
- Agentic capabilities
- Coding
- Image-to-text synthesis
- Instruction following
- Reasoning
둘 다 UD-Q4_K_XL 양자화와 최적 샘플링 파라미터로 돌렸고, Gemma 4는 최신 chat template 수정과 -cram, -ctkcp 플래그를 적용했다.
결과는 Qwen3.6가 더 좋았다.
- Tests fixed: 32/37 (86.5%)
- Regressions: 0
- Net score: 32
- Post-run failures: 5
- Duration: 49분
Gemma 4는
- Tests fixed: 28/37 (75.7%)
- Regressions: 8
- Net score: 20
- Post-run failures: 17
- Duration: 85분
작성자는 Qwen이 남은 5개 실패를 범위 밖으로 판단해 건너뛰었고, Gemma는 중간에 포기했다고 적었다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
