CS336: 처음부터 만드는 언어 모델링

스탠퍼드 대학교의 CS336 과정은 현대 NLP의 기반인 언어 모델을 밑바닥부터 직접 구현하는 것을 목표로 하는 실습 중심의 커리큘럼이다. 데이터 수집 및 정제부터 Transformer 구축, 학습, 그리고 배포 전 평가에 이르는 전체 파이프라인을 다룬다.

주요 과제 및 학습 범위는 다음과 같다:

• Basics: 토크나이저, Transformer 아키텍처, 옵티마이저 구현 및 기초 모델 학습.
• Systems: 모델 프로파일링, Triton을 이용한 FlashAttention2 최적화, 메모리 효율적인 분산 학습 구현.
• Scaling: 모델 구성 요소의 기능을 이해하고 Scaling Law를 통한 모델 스케일링 예측.
• Data: Common Crawl 데이터를 활용한 필터링 및 중복 제거를 통한 사전학습 데이터 구축.
• Alignment & Reasoning: SFT(지도 파인튜닝), RL(강화학습), DPO(Direct Preference Optimization)를 통한 추론 및 안전 정렬 구현.

수강을 위해서는 Python과 PyTorch 숙련도는 물론, 메모리 계층과 같은 시스템 개념, 선형대수 및 확률통계 등 수학적 기초가 필수적이다. 대규모 GPU 연산이 필요한 경우 Modal, Lambda Labs, RunPod 등의 클라우드 GPU 사용이 권장된다.