Empero, 4,200달러로 학습한 165M 파라미터 모델 Quark 공개
·2026.11.16 08:56
핵심 내용
Empero가 4,200달러로 학습한 Quark가 유사 규모 오픈 모델 벤치마크에서 최고 점수를 기록했다.
자세히 보기
- Empero가 데이터, 사전학습, 컨텍스트 확장, 강화학습까지 전체 스택을 자체적으로 학습한 165M 파라미터 언어 모델 Quark를 공개함 (임베딩 제외 시 140M). 컴퓨트 비용은 약 4,200달러(약 1,300 H100-시간)로 확인됨.
- Quark-150M-128K-Base는 9개 제로샷 벤치마크에서 평균 52.8%를 기록함. 최대 500B 토큰으로 학습된 120M~170M 파라미터 오픈 모델 중 최고 점수이며, 9개 작업 중 6개에서 1위를 차지함.
- Quark-150M-128K-Zero 변형은 지도형 미세조정이나 증류 없이 GRPO 강화학습만으로 학습됨. 이를 통해 단순 터미널 작업의 해결률이 3%에서 65%로 상승함.
- Raw, 32K Base, 128K Base, 128K Zero 등 4개 체크포인트는 Apache-2.0 라이선스로 Hugging Face에 공개됨. 128K 모델은 최대 128K 토큰 컨텍스트를 지원함.
아키텍처 및 학습
- 16개 레이어 중 12개는 로컬(최근 256 토큰만 주의), 4개 간격으로 글로벌 레이어를 배치함. 이를 통해 128K 토큰 기준 bf16 포맷의 키-밸류 캐시 크기를 약 0.5 GiB로 줄임.
- 사전학습은 단일 8×H100 노드에서 500B 토큰을 사용함. 128K 컨텍스트 버전은 추가 10B 토큰의 롱컨텍스트 데이터로 학습함.
- 신뢰성 테스트 결과 사전학습 중 노드 7회 다운에도 손실 스파이크 없이, 자동 복구 후 2~4분 내 학습을 재개함.
강화학습 결과
- RL 학습은 코드 작업(보상의 95%)에 실제 샌드박스를, 기타 작업에는 LLM 판정을 사용함. 총 1,300 스텝 미만, 약 32시간 동안 수행됨.
- 답변 전 사적 사고 모놀로그(thinking monologue)를 활성화하면 상식 퍼즐 정확도가 44%에서 67%로 향상됨.
- 웹 검색 작업 성능 저하, 15개 하네스 포맷 중 1개 실패, RL 단계 중 롱컨텍스트 점수 하락 등이 한계로 지적됨.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.