Jeff v1.3, Qwen 3.8-27B 코딩 47% 가속

Jeff v1.3은 Qwen 3.8-27B의 성능을 최적화하기 위해 작은 의사결정 모델(Jeff)을 통합한 코딩 에이전트 Jeff-Code를 공개했다. Pi의 포크인 Jeff-Code는 파일 읽기나 디렉터리 목록 확인 등 정보 수집 단계를 Qwen 대신 미리 수행하고, 각 턴마다 Qwen의 심층 사고 필요 여부를 동적으로 판단하는 System 1 방식을 채택했다.

성능 향상

1,242개 작업에 대한 페어 평가에서 Jeff-Code는 평균 작업 시간을 기준선(전체 사고 모드 적용 시)의 0.68배로 단축해 47%의 속도 향상(시간 32% 감소)을 달성했다. 이 과정에서 통계적으로 유의미한 정확도 저하는 발생하지 않았다.

• 합계 통과율: Jeff-Code 62.4% vs 기준선 62.8% (차이 -0.2포인트, 95% 신뢰구간: -2.6 ~ +2.1)
• SWE-bench Verified: 시간 비율 0.63배, 통과율 +0.4포인트
• Terminal-Bench Pro: 시간 비율 0.64배, 통과율 +1.5포인트
• SWE-rebench: 시간 비율 0.66배, 통과율 -0.8포인트

사고 기능을 완전히 끄면 작업은 더 빨라지지만 평균 품질이 7.6포인트 하락했다. 이는 시간 절약과 정확도 유지를 위해 Jeff의 보정된 의사결정이 필수적임을 보여준다.

작동 원리

Jeff는 고정된 기본 모델 위에 작은 LoRA 어댑터를 적용해 두 가지 결정을 내린다.

1. 사전 가져오기(Pre-fetching): Jeff가 Qwen의 턴 전에 읽기, 목록, 검색 등 정보 수집 도구를 실행해 결과를 즉시 제공한다. 파일 작성 및 편집은 Qwen이 담당한다.
2. 사고 제어(Thinking Control): Jeff는 심층 사고 필요 여부를 보정된 확률로 판단한다. 신뢰도가 임계값(0.6) 미만이면 사고를 생략하거나 줄여 지연 시간을 크게 절감한다.

Jeff v1.3 기본 모델 업데이트

기반이 되는 Jeff 기본 모델(v1.3)은 제로샷 성능보다 **접두사 캐싱(prefix caching)**을 우선하도록 재구성됐다. 고정된 지침을 앞에, 실시간 데이터를 뒤에 배치해 반복적인 의사결정 속도를 높였다. 긴 옵션 목록에 대한 제로샷 정확도는 크게 떨어졌지만(예: 법률 조항 분류 66.0%에서 7.4%로 하락), 어댑터를 통해 정확도를 복원한다. 적절한 어댑터를 사용하면 v1.3의 성능은 v1.2와 ±0.7포인트 이내의 차이를 보인다.

어댑터 및 배포

이번 릴리스에는 Jeff-Code용 2개와 실제 업무용 4개(트레이딩 데스크, AML, 제재, SOC)를 포함한 15개 어댑터(재학습 9개, 신규 6개)가 포함됐다. llama.cpp용 GGUF 양자화 버전(Q8_0 및 Q4_K_M)이 제공되며, Q8_0은 사실상 손실 없다. 프로젝트는 MIT 라이선스(Pi 포크 기준)로 오픈소스화되어 GitHub와 Hugging Face에 호스팅된다.