AI의 진화적 전문화

AI 추론 시장은 가장 빠르게 성장하는 시장이면서 동시에 빠르게 쪼개지고 있다.

NVIDIA의 데이터센터 매출은 ChatGPT 출시 이후 Q4 2022의 36억 달러에서 Q4 2025의 623억 달러로 뛰며 3년 만에 17배 성장했다. 데이터베이스가 relational, document, key-value, graph, time series, vector로 갈라졌듯, 추론도 워크로드 차이 때문에 분화한다.

분화의 핵심은 작업별 제약이 서로 다르다는 점이다.

• 이미지·비디오는 계산량이 크다.
• 긴 컨텍스트는 KV cache 메모리를 크게 잡아먹는다.
• 엣지 디바이스는 전력과 연결성 제약이 강하다.

생태계도 이미 갈라졌다. 수명이 긴 소수의 LLM과 함께 Hugging Face에는 9만 개 이상의 text-to-image 모델이 올라와 있고, 새 변종도 계속 늘어난다.

세그먼트는 크게 셋으로 나뉜다.

• 실시간(100ms 미만): 음성 비서, 실시간 번역, 자율주행
• 준실시간(100ms-2s): 챗봇, 코드 완성, 검색 증강
• 배치(수초~수시간): 문서 처리, 대규모 콘텐츠 생성

멀티모달에서는 병목도 달라진다. 챗봇은 대화 상태를 유지해야 해서 메모리가 중요하고, 이미지·비디오 생성은 단일 이미지에도 50번의 순차 패스가 필요할 만큼 순수 연산이 중요하다. 엣지에서는 Apple Intelligence용 30억 파라미터 모델이 온디바이스로 돌고, Tesla는 FSD 칩에서 72W를 쓰는 비전 모델을 운영하며, 양자화·전용 칩·제한된 메모리가 새 최적화 축이 된다.

결국 약 1,000억 달러 규모로 커지는 추론 시장은 데이터베이스 시장처럼 여러 승자를 낳을 가능성이 크다. Oracle, MongoDB, Databricks, Snowflake처럼, AI 추론 인프라도 용도별 전문 사업자로 쪼개질 수 있다.