AI Briefing#pruning
#pruning와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#pruning와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
동적 구조적 프루닝을 통해 밀집 LLM을 MoE로 변환하여 성능 저하 없이 활성 파라미터를 줄이는 ToMoE 기법이 공개됐다.
Kanana Nano-2.1B는 크기를 26% 줄였음에도 Kanana Essence의 93% 한국어 성능을 유지했다.
카카오가 3T 토큰으로 학습한 Kanana Essence가 llama-3.1-8b 대비 벤치마크 평균에서 더 높은 성능을 기록했으며, Kanana Nano는 프루닝 및 증류 기법으로 효율성을 극대화했다.