LLM 추론 최적화: 연속 배칭의 원리

LLM의 텍스트 생성은 토큰을 하나씩 예측하는 과정으로, 매 토큰마다 막대한 계산 비용이 발생합니다. 이를 해결하고 다수의 사용자를 동시에 효율적으로 처리하기 위한 핵심 기술인 **연속 배칭(Continuous Batching)**의 작동 원리를 어텐션 메커니즘과 기초 연산 단계부터 분석합니다.

핵심 내용:

• 어텐션(Attention) 메커니즘: 토큰 간의 상호작용을 가능하게 하는 핵심 요소이며, 시퀀스 길이에 따라 연산량이 제곱으로 증가하는 특성을 가집니다.
• 연산의 특성: 레이어 정규화와 같은 토큰별(Token-wise) 연산과 어텐션과 같이 토큰 간 관계를 계산하는 연산의 차이를 설명합니다.
• 연속 배칭의 역할: 여러 대화를 병렬로 처리하고, 각 대화가 완료될 때마다 새로운 요청으로 교체함으로써 시스템의 **처리량(Throughput)**을 최적화합니다.