tool-prune 공개, 도구 스키마 선별 속도 0.4ms

로컬 7B/8B 모델에서 50개 이상의 도구 스키마를 컨텍스트에 포함하면 주의력 저하와 환각이 발생한다는 문제를 해결하기 위해 tool-prune이 공개됐다. 이 도구는 모델 호출 전 클라이언트 측에서 사전 필터링을 수행하여 불필요한 스키마를 제거한다.

주요 성능 및 특징

• 초고속 처리: FWHT(Fast Walsh-Hadamard Transform) 알고리즘을 활용해 오프라인 상태에서 0.4ms 만에 필터링을 완료한다. SIMD를 적용하면 23µs까지 단축된다.
• 토큰 절감: 프롬프트 토큰을 92% 줄여 모델의 컨텍스트 윈도우 부담을 크게 낮춘다.
• 추가 비용 없음: 기존 인밴드 검색 방식과 달리 추가 LLM 생성 턴이나 라운드 트립이 필요 없다.
• 경량화: 외부 의존성이 없으며 순수 JS 및 Python으로 구현되었다.

활용 방식

사용자는 router.filter(userPrompt)를 호출해 상위 도구 목록을 얻은 후 모델을 호출한다. 결정적인 쿼리의 경우 1ms 미만으로 직접 디스패치하는 옵션도 제공한다. GitHub 저장소와 온라인 플레이그라운드를 통해 직접 테스트할 수 있다.