Claude 추론 토큰 감소와 벤치마크 간 'Inference Gap' 분석

AI 모델의 성능에 가장 중요한 자원은 추론 노력(inference effort)일 수 있다는 관점에서, Claude 모델의 추론 토큰 사용 현황을 분석한 결과 벤치마크와 실제 프로덕션 환경 간에 심각한 격차(Inference Gap)가 존재하는 것으로 나타났다.

추론 토큰 사용량 감소

분석에 따르면 호출의 39.2%는 thinking을 전혀 수행하지 않았다. 또한 7월 대비 8월에는 thinking 토큰 사용량이 감소했는데, Turn-weighted 기준으로 21.9%, Session-weighted 기준으로 35.1%가 감소했다. 특히 입력 토큰이 증가할수록 thinking 토큰의 비율이 낮아지는 경향을 보였다.

벤치마크와 실제 사용 환경의 격차

Anthropic의 xhigh 및 max effort 수준에서의 벤치마크 평균 thinking 토큰 수는 24.4K~32.1K에 달한다. 그러나 실제 데이터셋의 95%는 48회 호출(long-horizon task) 기준, 벤치마크 상위 5개 호출의 최소치인 18.2K thinking 토큰에 미달했다. Best-of-N이나 병렬 처리는 추론 컴퓨트가 부족한 후보 생성으로는 성공할 수 없으며, 이는 간헐적인 성능 저하나 불안정한 에이전트 행동으로 이어질 수 있다.

투명성 및 규제 논의

모델의 잠재력과 실제 신뢰성 사이의 격차를 해소하기 위해서는 실제 추론 토큰 수, 최대 연속 추론 길이, Zero-thinking 비율 등에 대한 투명성 공개가 필수적이다. 공급자가 제한한 자원으로 인한 성능 손실은 공급자 책임(Liability) 문제로 확장될 수 있으며, AI 안전 및 규제와 관련된 논의가 필요한 시점이다.