DTree 역전승
DTree on MLX ... tiny win over DFlash on Qwen3.5-4B (M2)..
·2026.04.16 01:05
핵심 내용
M2 Max에서 DTree가 DFlash보다 **1.07배** 빠른 MLX 결과를 보였다.
자세히 보기
M2 Max 32GB 환경에서 Qwen3.5-4B를 q4_g64로 돌리고, spec=16, tree_budget=24 설정을 맞춘 뒤 비교한 결과가 나왔다.
- DFlash: 45.07 e2e tok/s
- DTree: 48.31 e2e tok/s
로컬 MLX 기준으로는 DTree가 약 1.07배 앞섰다. 큰 격차는 아니지만, 반복 테스트에서도 비슷하게 나와서 의미 있는 결과로 판단했다.
다른 시도들은 대부분 비슷하거나 더 느렸고, 현재로서는 MLX verifier 비용이 성능 향상의 주요 병목으로 보인다는 해석이다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.