PyTorch로 구현하는 MLM과 CLM: 트랜스포머 인코더 기반 언어모델 학습 원리

이 글은 거대 언어모델의 사전학습 메커니즘인 MLM(Masked Language Model)과 CLM(Causal Language Model)의 원리를 설명하고, 이를 PyTorch로 직접 구현하는 과정을 다룬다. 사전학습 모델은 범용성이 높지만 파라미터가 크고 리소스를 많이 소모하므로, 도메인에 적합한 크기의 모델을 직접 구축하면 성능을 유지하거나 개선하면서 학습 및 추론 속도를 높일 수 있다.

모델의 기본 구조는 Embedding Layer, Multi Head Self-Attention Layer, Feed-Forward Layer로 구성된 트랜스포머 인코더이다. BERT와 GPT2의 주요 하이퍼파라미터 차이를 비교하면 vocab_size는 BERT 30,522, GPT2 50,257이며, max_position_embeddings는 각각 512, 1,024이다. MLM은 시퀀스의 15%를 마스킹(80% , 10% 랜덤, 10% 유지)하여 원래 토큰을 복원하는 Denoising Autoencoder 방식으로 학습된다. CLM은 이전 토큰을 기반으로 다음 토큰을 예측하는 인과적 방식으로, Attention Mask를 통해 미래 토큰을 참조하지 못하도록 한다. 이러한 도메인 특화 모델 구축은 리소스를 줄이고 실험 생산성을 향상시킨다.