John Hennessy 등 연구진, 로컬 LLM의 전력당 지능(IPW) 효율성 측정 논문 발표

John Hennessy, Christopher Ré 등 연구진이 로컬 LLM의 에너지 효율성과 성능을 통합적으로 측정하는 지표인 **Intelligence per Watt(IPW)**를 제안하고, 이를 기반으로 한 대규모 실측 연구를 공개했다.

연구 배경 및 지표 정의

중앙 집중식 클라우드 LLM 인프라의 수요 증가로 인한 부담을 줄이기 위해, 소형 로컬 LLM(활성 파라미터 20B 이하)과 로컬 가속기(예: Apple M4 Max)의 활용 가능성을 탐구했다. IPW는 단위 전력당 작업 정확도를 의미하며, 로컬 추론의 능력과 효율성을 동시에 평가하는 핵심 지표로 정의됐다.

주요 실험 결과

20개 이상의 최신 로컬 LLM과 8종의 하드웨어 가속기를 대상으로 100만 건의 실사용 단일 턴 채팅 및 추론 쿼리를 분석한 결과는 다음과 같다.

• 성능 커버리지: 로컬 LLM은 전체 쿼리의 **88.7%**를 성공적으로 답변했으며, 도메인에 따라 정확도 차이를 보였다.
• 효율성 향상 추세: 2023년부터 2025년까지의 종단 분석에서 IPW가 5.3배 향상되었다. 이는 알고리즘 및 가속기 기술 발전에 힘입은 것으로, 로컬 처리 가능한 쿼리의 커버리지가 **23.2%**에서 **71.3%**로 급증했다.
• 하드웨어 비교: 동일 모델을 실행할 때 로컬 가속기는 클라우드 가속기보다 IPW가 최소 1.4배 낮게 측정되어, 로컬 하드웨어의 최적화 여지가 여전히 존재함을 시사했다.

시사점

로컬 추론은 상당한 비율의 쿼리에 대해 중앙 인프라 수요를 의미 있게 분산할 수 있으며, IPW는 이러한 전환 과정을 추적하는 중요한 지표로 기능할 수 있다.