gpt2: 124M 파라미터로 영어 텍스트 생성의 기본기 다지기

OpenAI가 공개한 GPT-2의 가장 작은 버전으로, 124M 파라미터 규모를 지닌 영어 전용 언어 모델이다. 대규모 웹 데이터로 사전 학습된 이 모델은 다음 단어를 예측하는 방식으로 작동하며, 프롬프트를 입력하면 문장을 자연스럽게 이어가는 텍스트 생성 기능을 제공한다.

PyTorch, TensorFlow, JAX 등 주요 프레임워크와 호환되며 vLLM이나 SGLang 같은 추론 서버에서도 구동 가능하다. 1,700개 이상의 어댑터와 2,200개 이상의 파인튜닝 모델이 존재해, 경량화된 실험 환경이나 특정 태스크에 맞춘 미세 조정의 출발점으로 활용도가 높다.

Wikipedia를 제외한 Reddit 기반의 WebText 데이터셋으로 학습되어 사실 확인보다는 문맥 생성에 특화되어 있다. 모델 자체가 학습 데이터의 편향을 반영할 수 있어, 인간과 상호작용하는 시스템에 배포하기 전에는 반드시 편향성 검토가 필요하다.