포르투갈어 특화 SLM, Zagreus-0.4B 공개
Zagreus-0.4B-por a small open source language model for Portuguese
·2026.07.24 23:37
mii-llm이 포르투갈어와 영어를 지원하는 4억 파라미터 규모의 소형 언어 모델을 공개했다.
오픈 소스 AI 연구소인 mii-llm이 포르투갈어-영어 이중 언어 모델인 Zagreus-0.4B-por를 출시했다. 이 모델은 약 **4억 개(400M)**의 파라미터를 가진 소형 모델로, 유럽 언어에 집중하는 Zagreus 제품군의 일부다.
주요 특징 및 성능:
- 데이터셋: FineWeb Portuguese, FineWeb2 Portuguese, FinePDFs, StarCoderData 등을 활용해 처음부터 사전 학습(Pretrained from scratch)되었다.
- 벤치마크: ARC, HellaSwag, MMLU의 포르투갈어 버전에서 평균 0.3113의 점수를 기록했으며, 이는 동일 규모의 Qwen3-0.6B-Base(0.2569)보다 높은 수치다.
- 활용 목적: 완성된 어시스턴트가 아닌, 지시어 튜닝(Instruction tuning), 도메인 특화 어시스턴트 구축, 교육용 도구 및 온디바이스(On-device) 애플리케이션을 위한 기초 모델(Foundation model)로 설계되었다.
이번 프로젝트는 Seeweb 클라우드와 Regolo.ai의 컴퓨팅 인프라 지원을 통해 진행되었다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.