Conformal Thinking: 연산 예산 내 추론을 위한 리스크 제어
·2026.07.02 09:00
핵심 내용
LLM의 추론 시 토큰 사용량을 최적화하면서도 오류율을 일정 수준 이하로 유지하는 리스크 제어 프레임워크를 제안한다.
자세히 보기
Reasoning LLM은 테스트 시점 스케일링(test-time scaling)을 통해 토큰 예산이 늘어날수록 정확도가 향상되는 특성을 가진다. 이에 따라 정확도를 높일 수 있는 시점에만 토큰을 소비하고, 추가 연산의 이득이 적을 때는 조기에 종료하는 **적응형 추론(adaptive reasoning)**이 중요해지고 있다.
하지만 적절한 토큰 예산과 적응형 추론을 위한 임계값을 설정하는 것은 **리스크-정확도 트레이드오프(risk-accuracy trade-off)**를 수반하는 까다로운 과제다. 본 연구는 예산 설정 문제를 오류율을 제한하면서 연산량을 최소화하는 리스크 제어(risk control) 문제로 재정의한다.
새로운 프레임워크는 다음과 같은 핵심 메커니즘을 도입한다.
- 연산 효율성을 극대화하기 위한 상한 임계값 설정
- 오류율을 사전에 정의된 수준으로 유지하며 토큰 소비 최적화
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.