ToolGrad, answer-first 방식으로 높은 pass rate 달성… Gemma-3 소형 모델이 SoTA 모델과 경쟁력 있는 성능 보여

Google 연구진이 제안한 ToolGrad는 기존 query-first 방식의 낮은 pass rate와 비효율성을 해결하기 위해 answer-first 패러다임을 도입한 데이터 생성 프레임워크다. 이 방법은 성공적인 tool-use chain을 먼저 생성한 후, 이에 해당하는 사용자 프롬프트를 사후 어노테이션하는 방식으로 더 높은 pass rate를 달성했다.

핵심 메커니즘과 효율성

ToolGrad는 TextGrad 개념을 확장하여 large tool library에서 복잡한 API workflow를 구성한다. API Proposer, API Executors, API Selector, LLM Updater의 4단계 모듈 구조를 통해 textual gradients를 활용하며, LLM step 1회로 low cost의 complex long-horizon tool-use 데이터를 생성할 수 있다. 기존 DFS 기반 방식 대비 optimization steps가 감소하여 효율성이 크게 향상되었다.

성능 결과 및 모델 파생

ToolBench의 16k+ real-world APIs를 기반으로 생성된 ToolGrad-500 데이터셋으로 Gemma-3 모델(1B, 4B, 12B)을 fine-tuning했다. Berkeley Function Calling Leaderboard(BFCL) 평가 결과, ToolGrad-12B는 83.1점을 기록하며 Gemini-2.5-Pro(83.2), Claude-4.5 Opus(82.8) 등 SoTA proprietary 모델과 경쟁력 있는 수준을 보였다. 특히 데이터 생성 teacher 모델인 Gemini-2.5-flash-lite보다 student 모델이 더 높은 성능을 달성하며 self-evolving 가능성을 입증했다.