Cohere, 임베딩 및 재정렬 모델의 공유 vs 전용 추론 선택 가이드 공개

Embedding 및 Rerank 모델의 인프라 규모를 결정할 때 요청량만으로는 부족하며, 요청 형태와 활용률이 비용 효율성의 핵심 요인이다. Cohere는 단순 처리량 지표가 아닌 이러한 요소를 바탕으로 공유 및 전용 배포 방식을 선택하는 새로운 의사결정 프레임워크를 제시했다.

요청 형태와 연산 부하

연산 부하는 요청 유형에 따라 크게 달라진다. 배치 인덱싱은 요청당 대량의 토큰(예: 100개 텍스트에 약 20,000개 토큰)을 처리하며 처리량을 우선시하는 반면, 검색 쿼리는 최소한의 토큰(약 8개)으로 지연 시간을 우선시한다. Rerank 모델의 경우 연산 부하가 후보 문서 수에 비례해 증가한다. 검색 깊이가 중요한 변수인데, 20개 후보 재정렬 시 검색당 약 4,400개 토큰, 50개 후보 시 약 11,000개, 100개 후보 시 약 22,000개가 필요하다.

트래픽 패턴과 활용률

지속적인 트래픽은 인프라가 높은 활용률을 유지하므로 전용 추론이 유리하며, 간헐적 트래픽은 유휴 용량 비용을 피하기 위해 종량제(공유) 추론이 유리하다. 경제적 손익분기점은 단순한 피크 볼륨이 아닌 워크로드의 구체적인 요청 프로필과 트래픽 일관성에 따라 결정된다. 예를 들어 분당 약 20건의 요청이 발생하는 카탈로그 임베딩 워크로드는 전용 인프라의 손익분기점에 도달할 수 있지만, 쿼리 임베딩은 전용 용량을 정당화하기 위해 분당 수만 건의 요청이 필요하다.

지연 시간 및 배포 전략

피크 처리량은 달성 가능한 용량과 동일하지 않다. 배치 인덱싱은 최대 처리량으로 운영할 수 있지만, 검색 및 재정렬과 같은 대화형 워크로드는 지연 시간 목표를 충족하기 위해 여유 용량이 필요하다. 특히 재정렬은 후보 목록이 커질수록 초당 처리 문서 수와 초당 제공 검색 수 간에 트레이드오프가 발생한다. 많은 애플리케이션이 안정적인 카탈로그 인덱싱에는 전용 용량을, 급변하는 엔드포인트 쿼리 트래픽에는 공유 추론을 사용하는 하이브리드 방식을 채택한다. 이 의사결정 프레임워크는 단순한 볼륨 지표보다 각 요청에 포함된 작업 내용과 트래픽 일관성을 이해하는 것을 우선시한다.