백엔드 개발자를 위한 LLM 내부 동작 원리 6단계 가이드

LLM이 사용자의 질문을 이해하고 답변을 생성하는 과정을 토큰화, 임베딩, 위치 인코딩, 트랜스포머 & 어텐션, 예측, 디코딩의 6단계로 나누어 설명한다.

첫 번째 단계인 **토큰화(Tokenization)**는 프롬프트를 의미 있는 최소 단위인 **토큰(Token)**으로 분리하고 고유한 ID를 할당하는 과정이다. Gemini 모델은 언어 중립적이고 서브워드(Subword) 기반인 SentencePiece를 사용하여 한국어와 같이 조사가 붙는 언어도 효과적으로 처리한다.

토크나이저는 모델 개발 초기에 대규모 데이터로 학습하는 훈련(Training) 단계와, 사용자의 요청 시 이미 만들어진 규칙을 적용하는 추론(Inference) 단계로 명확히 구분되어 동작한다.

전체 동작 프로세스는 다음과 같다:

• Tokenization: 토큰 분리 및 ID 매핑
• Embedding: 토큰 ID를 의미를 담은 벡터로 변환
• Positional Encoding: 단어의 순서 정보를 벡터에 추가
• Transformer & Attention: 문맥 파악 및 표현 정교화
• Prediction: 다음에 올 토큰 예측
• Loop & Decoding: 예측된 토큰을 반복하여 문장 완성