5080로 처음부터

PyTorch로 235M 파라미터 LLM을 pretrained weights 없이 처음부터 학습했다.

구성은 18 layers, hidden size 1024, GQA 16 query heads / 4 KV heads, SwiGLU FFN 2816, RoPE(theta 10000), RMSNorm pre-norm, tied embeddings이며, 32k SentencePiece BPE vocab를 사용했다.

학습은 bf16 mixed precision과 gradient checkpointing으로 single consumer GPU인 RTX 5080에 맞췄고, seq len 1024에서 약 5B tokens를 학습했다.

데이터 파이프라인도 직접 구성했다.

• FineWeb-Edu, Wikipedia, StackExchange, code, ArXiv 사용
• 품질 및 독성 필터링
• MinHash deduplication
• 자체 SentencePiece tokenizer
• 도메인 가중치 혼합
• pretraining과 instruction tuning, assistant token만 학습하도록 loss masking 적용

샘플 출력도 공개했다. 예시에서는 "World War 1" 질문에 1914년을 답하고, steak의 정의도 무난하게 응답했다.

다음 버전인 Plasma 1.1은 현재 500M 파라미터로 학습 중이며, 더 나은 멀티턴 대화와 더 큰 vocab, byte fallback을 목표로 한다.