행성 크기의 두뇌: LLM은 너무 과하게 생각하고 있는가?

보안 취약점 트리야지(Triage) 작업에서 LLM의 추론 강도(Reasoning effort)와 모델 성능 간의 관계를 분석한 결과, 높은 추론 능력이 항상 최선의 결과를 가져오지는 않는 것으로 나타났다.

GPT-5.4와 Claude-4.7 등 다양한 모델 조합을 테스트한 결과, 4개의 LLM으로 구성된 투표 위원회 방식이 매우 높은 일치율(86.2%)을 보이며 효과적인 것으로 확인되었다. 또한, 추론 강도가 높을수록 콘텐츠 필터링(Content filtering) 발생률이 높아지는 경향을 보였다.

주요 실험 결과는 다음과 같다:

• 추론 강도: low 설정은 모든 모델에서 가장 낮은 성능을 보였으나, gpt-5.5-med처럼 high보다 med 설정이 더 나은 성능을 내는 경우도 존재한다.
• 성공률: 대부분의 LLM이 버그의 일부를 찾는 데는 성공(70.8%)했지만, 전체 공격 체인을 완벽히 설명하는 Full solve 성공률은 1.9%에 불과했다.
• 범위: 모델이 파일 전체가 아닌 함수(Function) 단위의 코드를 입력받았을 때 성능이 훨씬 뛰어났다.
• 모델 특성: 분석 과정에서 CVE를 직접 언급하며 분석하는 모델은 Claude 계열뿐이었다.