Jeff-Code, Qwen3.8-27B 코딩 시간 32% 단축

Jeff-Code는 Pi 코딩 에이전트의 포크로, 0.8B Jeff 모델이 매 턴마다 정보 수집 단계 실행 여부와 Qwen의 사고 모드 활성화 여부를 결정하여 Qwen3.8-27B의 작업 시간을 32% 단축했다.

구조 및 작동 원리

• Jeff 모델: Qwen3.5-0.8B를 미세조정한 System 1 모델로, 문장 생성 없이 확률만 반환한다.
• 결정 1 (정보 수집): code 어댑터가 파일 읽기 등 깊은 사고가 불필요한 단계를 먼저 실행한다. 최상위 선택지 확률이 0.40 이상일 때 실행되며, 오프라인 정확도는 **92%**이다.
• 결정 2 (사고 수준): code-router 어댑터가 Qwen의 사고 수준(off, low, medium, xhigh)을 결정한다. xhigh 확률이 0.6 이상일 때만 사고를 켜며, 오프라인 정확도는 **68%**이다.

평가 결과

6개 벤치마크와 1,242개의 짝지은 과제를 대상으로 한 평가에서 Jeff-Code는 기준선(Qwen3.8-27B, 모든 턴 xhigh) 대비 다음과 같은 성능을 보였다.

• 통과율: **62.4%**로 기준선(62.8%)과 통계적으로 유의미한 차이가 없다.
• 과제당 시간: 0.68배로 32% 단축되었다.
• 전체 시간 합계: 0.86배로 14% 단축되었으나, 일부 과제에서는 기준선보다 더 오래 소요되기도 했다.

한계 및 라이선스

• 현재 보고서는 INTERIM 상태로, 영어 과제만 평가되었으며 한국어 지시 동작은 미검증이다.
• 코드는 MIT, 모델 및 어댑터는 Apache 2.0 라이선스를 따르지만, 학습 데이터와 판정 모델(Qwen3.8-Max)의 라이선스 확인이 진행 중이므로 상업적 사용 전 확인이 필요하다.