AI 추론 엔지니어링 가이드

LLM이 응답을 생성할 때 GPU에서는 두 가지 단계가 순차적으로 실행됩니다. 첫 번째는 입력 프롬프트를 처리하여 첫 번째 토큰을 생성하는 단계이며, 두 번째는 그 이후의 모든 토큰을 하나씩 생성하는 단계입니다.

이 두 단계는 하드웨어 내부에서 서로 다른 병목 현상을 일으킵니다. 하나는 **Raw Compute(연산 능력)**에 의해 제한되고, 다른 하나는 **Memory Bandwidth(메모리 대역폭)**에 의해 제한됩니다. **추론 엔지니어링(Inference Engineering)**은 바로 이 차이점을 해결하여 지연 시간(Latency), 처리량(Throughput), 비용, 품질을 최적화하는 기술입니다.

과거에는 이러한 작업이 주로 AI 모델을 직접 만드는 연구소의 영역이었으나, 최근에는 기업들이 직접 모델을 운영하는 사례가 늘며 전문 분야로 자리 잡았습니다. 특히 Open Model의 발전은 기업들이 API를 사용하는 대신 직접 모델을 호스팅하도록 유도하고 있습니다.

직접 모델을 호스팅할 경우 다음과 같은 이점이 있습니다.

• Latency(지연 시간): 특정 제품의 워크로드 패턴에 맞춰 최적화 가능
• Uptime(가동 시간): 전용 배포를 통해 높은 가용성 확보 가능
• Cost(비용): 규모의 경제 달성 시 API 대비 약 **80%**의 비용 절감 가능