새는 비행기처럼 날지 않는다. AI도 마찬가지다.

Qwen3.6-35B-A3B는 Qwen3.8-27B보다 2.2배 빠른 속도로 토큰을 생성하지만, 3.1배 더 긴 시간 동안 추론을 수행하기 때문에 최종 응답 완료 시간이 더 느리다. 25개 벤치마크 태스크에서 두 모델의 품질은 동등한 수준으로 평가되었다.

작은 모델은 큰 모델처럼 방대한 지식을 저장하지 못하므로, 답을 도출하기 위해 첫 원리부터 더 많은 추론 과정을 거친다. 이는 벌이 비행기처럼 날지 않는 것과 유사한 메커니즘이다.

• Qwen3.8-27B: 토큰당 속도 51.9, 평균 지연 시간 7.2초
• Qwen3.6-35B-A3B: 토큰당 속도 113.4, 평균 지연 시간 10.0초

클라우드 모델은 정답으로 바로 점프하는 반면, 로컬 모델은 내부적으로 더 많은 시간과 토큰을 들여 논쟁하고 검토하는 과정을 거친다. 따라서 AI 성능 평가 시 토큰 생성 속도보다 실제 답변까지 걸리는 시간(Time to Answer)을 측정하는 것이 중요하다.