카카오 기술전략팀, LLM 가격 인하·속도 향상 등 5가지 핵심 변화 분석

카카오 기술전략팀 소속 로빈은 AI 서비스 개발 시 고려해야 할 LLM의 5가지 변화(가격 인하, 속도 향상, 성능 개선, 처리량 증가, 경량화)를 분석했습니다. 가격 측면에서 GPT-4o mini는 100만 토큰당 0.24달러로, 초기 GPT-3.5 Turbo(100만 토큰당 2달러) 대비 10분의 1 수준입니다. GPT-4o의 일반 API 가격은 100만 토큰당 4달러이며, 배치 API를 활용하면 2달러까지 낮출 수 있습니다. 속도 측면에서는 Gemini Flash가 초당 207 토큰, Cerebras 추론 엔진이 초당 1,800 토큰을 생성하는 등 처리 속도가 비약적으로 향상되었습니다.