BotPsy 0.8B, 2.5배 큰 모델 제치고 에이전틱 벤치마크 선두

• Tether AI Research가 Qwen3.5-0.8B 기반의 0.8B 파라미터 에이전틱 언어 모델 BotPsy를 공개함. Apache 2.0 라이선스 하에 safetensors 및 GGUF 형식으로 제공함.
• BotPsy는 5배 큰 Qwen3.5-2B-Think를 6개 도구 사용 및 에이전틱 벤치마크 중 5개에서 능가함. BFCL v4(44.0 대 37.7)와 ToolSandbox(64.6 대 41.2)에서 우위 기록함.
• 반복 추론 루프를 22.9%에서 1.4%로 줄이고, 지식 작업에서 정답 도출에 필요한 토큰을 기본 모델 대비 최대 3배 절감함.
• 저중도 온디바이스 태스크를 위해 설계되었으며, 고위험 또는 안전 중요도가 높은 애플리케이션에는 사용되지 않음.

Technical Performance

• 다중 턴 워크플로우에서 τ²-bench telecom 82.5점, 다중 턴 BFCL v4 46.1점으로 선두를 달림.
• IFEval 90.8점, IFBench 55.9점을 기록하며 더 큰 경쟁 모델을 능가하는 지시 따르기 성능을 보임.
• GPQA 38.1점으로 Qwen3.5-2B-Think(59.9점)보다 낮은 지식 점수를 기록함. 이는 미지 사실에 대해 도구에 의존하도록 설계된 모델의 특징을 반영함.

Methodology and Limitations

• SFT, 멀티 티처 온-폴리시 증류, DAPO를 활용한 2회차 RL 등 4단계로 학습함.
• 개방형 검색(BrowseComp-Plus 4.5점)과 힌디어 같은 저자원 언어(24.5점)에서 약점을 보임.
• 평가는 씽킹 모드에서 수행되었으며, 외부 API 벤치마크는 2026년 11월 3일에 실행됨.