Qwen3.6 압승

336K 크기, 약 108,000 토큰 분량의 대형 service.js 파일로 positional recall 벤치를 돌렸다.

테스트는 파일 내용을 한 번에 넣은 뒤, 특정 함수의 오프닝 브레이스 이후 20줄을 복원하게 하는 방식이었다. 대상 파일은 8,000+ 라인, 1,300개 함수를 포함했고, KV cache는 8-bit로 맞췄다.

결과는 모델별 편차가 컸다.

• Gemma 4 27B: 16개 프롬프트 중 6개만 품질 기준 통과
• 다른 Gemma 변형은 더 나빴고, 일부는 2개 통과에 그침
• Qwen 3.5 35B는 Gemma보다 출력이 더 깔끔했고
• Qwen 3.6 35B는 이 대형 JS 역공학 작업에서 가장 좋은 결과를 보였다고 평가했다

핵심 이슈는 Gemma 4의 sliding window attention과 1K look-back window 한계로, 긴 컨텍스트에서 함수 본문과 return 구문 일부를 놓치거나 환각을 일으켰다는 점이다. 반면 Qwen 계열은 같은 조건에서 더 안정적으로 함수 내용을 복원했다.