ArtificialAnalysis의 LLM 지능-비용 그래프, 로그 스케일과 데이터센터 가격으로 오해 유발

ArtificialAnalysis가 공개한 LLM 지능 대비 비용 그래프가 시각적 왜곡과 잘못된 가격 기준을 포함하고 있어 오해를 불러일으킨다는 지적이 나왔다. 해당 그래프는 각 지능 점수를 달성하는 데 가장 저렴한 모델을 보여주지만, 비용 축에 로그 스케일을 적용해 저가 모델과 고가 모델 간의 막대한 가격 차이를 시청자가 체감하기 어렵게 만든다.

또한 저가 모델들 사이의 미미한 가격 차이는 오히려 과장되어 보일 수 있다. 더 큰 문제는 오픈 소스 모델의 가격을 데이터센터 기준으로 책정했다는 점이다. 이는 실제 사용자가 로컬 하드웨어에서 구동할 때의 비용보다 훨씬 높게 산정된 것으로, 현실적인 사용 환경을 반영하지 못한다.

대부분의 사용자는 프런티어 수준의 지능이 필요하지 않으며, 중국산 오픈 소스 모델만으로도 충분히 만족할 만한 성능을 얻을 수 있다. 따라서 현재 그래프가 제시하는 비용 효율성 평가는 실제 선택 기준으로서 신뢰성이 떨어진다.