Llama-2 추론 특성

Llama-2-70B는 GPT-3.5의 대안처럼 보이지만, 비용과 지연 시간을 기준으로 보면 항상 더 나은 선택은 아니다. 저자는 2개의 80GB A100 GPU에서 Llama-2를 서빙했을 때, completion token 생성에서는 GPT-3.5보다 가격과 속도 모두 불리했고, prompt token 처리에서는 오히려 3배 이상 저렴하다고 정리한다.

핵심은 프롬프트 중심 작업과 생성 중심 작업의 성격 차이다. 프롬프트를 처리할 때는 모델 가중치를 한 번 읽고 여러 토큰을 묶어 계산할 수 있어 효율이 높지만, 토큰을 생성할 때는 매 토큰마다 모델 가중치와 KV cache를 다시 읽어야 해서 메모리 대역폭이 병목이 된다. 그래서 분류처럼 prompt 비중이 큰 작업에는 Llama-2가 적합하지만, 긴 답변을 계속 만들어야 하는 워크로드에는 비효율적이다.

추론 비용을 설명하기 위해 저자는 transformer의 FLOPs와 메모리 경로를 단순화해 분석한다. Llama-2의 경우 attention FLOPs는 상대적으로 작아서, 최대 8192 토큰 길이에서도 전체 140 GFLOPs 중 10.5 GFLOPs 정도에 그친다고 본다. 반면 메모리 측면에서는 completion 생성 시 매 토큰마다 모델 가중치와 KV cache를 다시 읽어야 하므로 비용이 커진다.

프롬프트 처리에서는 계산이 비교적 잘 묶이기 때문에 효율이 높다. 저자는 A100의 성능 가정을 바탕으로 140 TFLOPs/token 수준의 연산 요구를 계산하고, 이를 통해 대략 $0.00042 / 1K tokens라는 가격을 제시한다. 이는 GPT-3.5의 $0.0015 / 1K tokens보다 훨씬 저렴하며, 512토큰은 약 170ms, 1536토큰은 약 530ms 수준으로 처리 가능하다고 본다.

반대로 토큰 생성은 메모리 병목 때문에 훨씬 비싸다. batch size 1 기준으로는 $0.066 / 1K tokens까지 올라가며, batch size를 늘리면 비용은 내려가지만 time to first token이 선형적으로 악화된다. 예를 들어 batch size 64에서는 512토큰의 첫 응답까지 거의 3초, 3596토큰에서는 20.1초가 걸린다고 설명한다.

결론적으로 Llama-2가 OpenAI API보다 의미 있는 경우는 제한적이다.

• prompt가 대부분인 작업: 분류, 대량 전처리 같은 경우
• batch processing: 지연 시간을 어느 정도 감수할 수 있는 오프라인 작업
• prompt token이 거의 없는 특수한 경우: 직관적이진 않지만 메모리/배치 구조상 유리할 수 있음

그 외 대부분의 completion-heavy 시나리오에서는 GPT-3.5가 더 싸고 빠르다. 저자의 요지는 명확하다. Llama-2는 범용 대안이 아니라, 작업 유형이 맞을 때만 비용 효율이 살아나는 모델이다.