LLM이 컴퓨터 아키텍처 논문에 대해 심층적인 기술적 이해를 수행할 수 있는가?

LLM이 단순 요약을 넘어 논문의 핵심 메커니즘을 파악하고 숨겨진 가정을 찾아내는 심층적 기술 이해가 가능한지 연구했습니다. 이를 위해 5개의 독립적인 전문가 페르소나와 적대적 합성 단계를 거치는 오픈소스 파이프라인인 Gauntlet을 제안했습니다.

연구 결과, ISCA 2025 및 HPCA 2026 논문 20편을 대상으로 한 평가에서 Gauntlet은 15건의 사례에서 인간 분석가보다 선호되었습니다. 특히 논문의 논리적 허점을 짚어내는 비판적 엄밀성(Critical Rigor) 측면에서 인간보다 뛰어난 성능을 보였습니다.

주요 발견 사항은 다음과 같습니다:

• 멀티 에이전트 구조의 효과: 단일 에이전트 모델보다 멀티 에이전트 구조를 사용했을 때 성능이 월등히 높았으며, 특히 합성(Synthesis) 단계가 성능 향상에 핵심적인 역할을 했습니다.
• 인간의 우위 영역: 인간은 LLM보다 **신뢰성(Trust)**과 유용성(Usefulness) 측면에서 더 높은 점수를 받았으나, 이는 깊이의 문제라기보다 확신에 찬 오답이나 설명 부족 등의 문제였습니다.
• 한계점: LLM은 보정(Calibration) 측면에서 인간보다 다소 취약한 모습을 보였습니다.