AI Briefing크래프톤, 262K 컨텍스트 오픈 모델 Raon-1 nano 공개
KRAFTON/Raon-1-nano · Hugging Face
·2026.11.12 01:31
핵심 내용
크래프톤이 262K 컨텍스트를 지원하는 오픈소스 모델 Raon-1 nano를 출시했다.
자세히 보기
- 크래프톤 AI가 Apache 2.0 라이선스로 총 3.1B 파라미터(유효 1.5B)의 Dense 언어 모델 Raon-1 nano를 공개함
- 최대 262,144 토큰 컨텍스트를 지원하며, 한국어와 영어의 지시 따르기 및 도구 호출에 최적화됨
- 18개의 Raon Delta Attention 레이어와 6개의 Gated MLA 레이어를 결합한 하이브리드 아키텍처를 채택하고, 레이어별 256차원 임베딩을 사용함
- Raon-1 mini preview를 기반으로 MoE-to-Dense 프루닝과 증류 과정을 거쳐 3T 토큰에 대한 추가 사전 학습을 수행함
- Apple 실리콘을 포함한 로컬 추론을 위해 GGUF, MLX, LiteRT-LM 포맷으로 제공됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
