Granite 4.1 LLMs: 어떻게 구축했나

Granite 4.1은 IBM이 공개한 dense decoder-only LLM 패밀리로, 3B/8B/30B 버전으로 나온다. 구조는 GQA, RoPE, SwiGLU, RMSNorm, shared input/output embeddings를 사용하며, 8B instruct는 이전 **Granite 4.0-H-Small(32B-A9B MoE)**보다 비슷하거나 더 나은 성능을 보였다.

학습은 약 15T tokens를 쓰는 5단계 pre-training으로 진행됐다.

• Phase 1: CommonCrawl 중심의 일반 pre-training (10T)
• Phase 2: math/code 비중을 크게 올린 단계 (2T)
• Phase 3-4: 고품질 데이터 annealing, CoT와 instruction data 투입
• Phase 5: 4K → 512K long-context extension, 32K/128K/512K 순차 확장

512K 단계는 **book 80% + code repo 20%**로 돌렸고, 각 LCE 단계 뒤에 model merge를 넣어 장문 학습 후 단문 성능 저하를 줄였다. base model의 RULER 점수는 3B가 75.0/66.6/58.0, 8B가 83.6/79.1/73.0, 30B가 85.2/84.6/76.7(32K/64K/128K)였다.

후반부에는 약 4.1M 고품질 샘플로 SFT를 진행했다. LLM-as-Judge와 rule-based filtering, global deduplication으로 데이터를 정제했으며, RL은 on-policy GRPO + DAPO loss를 쓰는 다단계 파이프라인으로 구성했다.

• RL 설정: SkyRL, prompt당 16 samples, batch size 1024, context 8,192
• 목표: 수학, 코딩, 지시 수행, 일반 대화 성능을 함께 끌어올림

전체 모델은 Apache 2.0으로 공개됐다.