RTK 토큰 절감 주장과 실제 비용 벤치마크 간 괴리 확인

AI 에이전트의 터미널 출력 압축 도구인 **RTK(Rust Token Killer)**가 홍보하는 토큰 절감 효과와 실제 비용 벤치마크 결과가 일치하지 않는다는 분석이 나왔다. Terminal-Bench 2.1을 활용한 실험에서 RTK 적용 시 비용 절감 효과는 통계적으로 유의미하지 않거나, 오히려 비용이 증가하는 경우가 확인되었다.

벤치마크 결과: 비용 절감 효과 부재

Claude Code(Fable 5.0)와 OpenCode(DeepSeek V4 Pro) 환경에서 RTK 적용 여부에 따른 비용과 성능을 비교한 결과, 다음과 같은 양상이 나타났다.

• Claude Code + Fable 5.0: RTK 적용 시 총 비용은 5% 감소($596→$546)했으나, 태스크별 평균 비용 변화는 **+1%**로 통계적으로 0과 차이가 없었다. Pass rate는 84%에서 83%로 1% 하락했다.
• OpenCode + DeepSeek V4 Pro: RTK 적용 시 총 비용은 5% 증가($26→$31)했으며, 태스크별 평균 비용은 17% 증가했다. Pass rate는 71%에서 69%로 2% 하락했다.
• 일관성 결여: Fable의 경우 특정 태스크(winning-avg-corewars)에서 절감 효과가 집중되었으며, 나머지 태스크에서는 절감률이 1% 미만이었다. DeepSeek은 모든 시도가 통과한 태스크에서도 평균 비용이 18% 증가했다.

지표의 한계와 'Tokenflation' 문제

RTK가 보고하는 rtk gain 지표는 실제 청구 비용과 괴리가 크다. 이 지표는 원본과 필터링된 출력의 바이트 차이를 기반으로 계산되지만, 에이전트 턴 수 증가로 인한 추가 비용을 반영하지 못한다.

• 지표 왜곡: DeepSeek 실험에서 rtk gain은 89%의 토큰 절감을 보고했으나, 실제 태스크 비용은 감소하지 않았다. 이는 head -1 등 단순 명령어 호출로 인한 절감량이 전체 지표의 69%를 차지하는 등 실제 비용 구조와 무관한 계산 방식 때문이다.
• 턴 수 증가: RTK 적용으로 인해 에이전트 턴 수가 증가하면 비용이 상승하는 'Tokenflation' 문제가 발생한다. DeepSeek 실험에서 평균 턴당 입력 토큰은 7% 감소했으나, 전체 턴 수가 18% 증가하여 총 입력량이 줄지 않았다.
• 캐시 효과 무시: 최신 에이전트 코딩 환경에서는 컨텍스트가 캐시되어 재읽기 비용이 저렴하다. Fable은 캐시 읽기 비용이 일반 입력의 1/10, DeepSeek은 1/30 수준이므로, 터미널 출력 압축의 경제적 이점이 제한적이다.

결론 및 시사점

최신 프런티어 모델은 터미널을 효율적으로 사용하며(예: Fable 컨텍스트의 약 7%만 터미널 출력), head/tail 등 자체적인 출력 제한 기능을 활용한다. RTK는 구형 모델에서 더 효과적이었을 가능성이 높으나, 현재 환경에서는 범용 비용 절감 도구로 권장되지 않는다. 또한 RTK는 Bash 도구만 재작성하며 Read, Grep 등은 우회하므로 적용 범위가 제한적이다.