기업용 오픈 소스 AI에 대해 모두가 잘못 알고 있는 것

현재 기업용 LLM 지출 중 오픈 소스 비중은 1년 전 19%에서 11%로 감소했다. 이는 오픈 소스가 도태되고 있다는 통념과 달리, 실제로는 기업의 AI 활용 방식이 변화하고 있음을 시사한다.

Decagon의 사례를 보면, 현재 워크로드의 약 **90%**를 OpenAI나 Anthropic 대신 오픈 소스 모델로 운영하고 있다. 이는 비용 절감보다는 **Latency(지연 시간)**와 **Fine-tuning(미세 조정)**의 필요성 때문이다. 고객 서비스와 같은 실전 환경에서는 범용적인 거대 모델보다, 특정 작업에 맞춰 최적화된 작고 빠른 모델이 필수적이다.

기업용 AI 시장의 점유율 변화는 **Use case maturity(활용 사례 성숙도)**에 따라 결정된다.

• 도입 초기 단계: 문제의 형태를 정의하기 위해 지능이 높은 Frontier model을 사용하며, 이 과정에서 폐쇄형 모델의 지출이 급증한다.
• 성숙 단계: 입력 데이터의 분포와 실패 사례를 파악하면, 특정 작업에 최적화된 작은 모델로 Distill(증류) 및 Fine-tuning하여 오픈 소스로 전환한다.

결국 현재의 점유율 하락은 새로운 AI 활용 사례가 폭발적으로 늘어나며 발생하는 일시적인 현상이다. 모든 프론트엔드 모델 기반의 프로토타입은 결국 성숙기를 거쳐 오픈 소스 기반의 프로덕션 모델로 전환될 것이며, Frontier labs는 발견(Discovery)을, Open source는 프로덕션(Production)을 담당하게 될 것이다.