모델 구조를 코드로

GPT-2를 기준으로 현대 LLM 구조를 처음부터 구현한 책과 오픈소스 코드가 공개됐다.

Chapter 3에서는 GPT-2에서 4가지 요소만 바꿔 Llama 3.2-3B 형태로 확장한다.

• LayerNorm → RMSNorm
• Learned positional encodings → RoPE
• GELU → SwiGLU
• Multi-Head Attention → Grouped-Query Attention

여기서 끝나지 않고, Meta의 실제 pretrained weights까지 불러와 동작을 맞춘다.

Chapter 5에서는 DeepSeek의 전체 아키텍처를 구성한다.

• MLA와 absorption trick
• decoupled RoPE
• MoE와 shared experts, fine-grained segmentation
• auxiliary-loss-free load balancing
• Multi-Token Prediction
• FP8 quantisation

코드는 GitHub에 공개돼 있고, 책은 Leanpub에서 무료 샘플을 제공한다. 모델 내부를 코드 레벨에서 이해하고 싶은 사람에게 실용적인 자료다.