처음부터 직접 만드는 빈티지 LLM (50분 분량)

1900년 이전의 역사적 텍스트만을 학습 데이터로 사용하여 Llama 아키텍처 기반의 340M(0.3B) 파라미터 규모를 가진 Vintage LLM을 제작했다. 이 모델은 지식 컷오프(Knowledge Cutoff)를 1900년으로 설정하여 빅토리아 시대의 분위기를 재현하는 것을 목표로 한다.

데이터 처리부터 베이스 트레이닝, 파인튜닝 스크립트까지 모든 파이프라인을 직접 구축했다. 데이터 처리는 개인 PC에서 수행했으며, 340M 모델 학습에는 RunPod, ThunderCompute, Vast.ai와 같은 클라우드 GPU를 활용했다. 총 GPU 비용은 약 $80가 소요되었다.

이 모델은 역사적 정확성을 위해 별도의 정렬(Alignment)이나 검열 과정을 거치지 않았다. 따라서 현대적 기준으로는 유해하거나 부적절할 수 있는 표현이 포함될 수 있으며, 이는 역사적 맥락을 유지하기 위한 의도적인 선택이다.