AI Briefing#distillation
#distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
TIPSv2는 iBOT++, Head-only EMA, 멀티 그레뉼러리 캡션으로 패치-텍스트 정렬을 크게 끌어올렸다.
프론티어 모델은 distillation을 막기 어렵고, 대규모 pretraining은 작은 bias와 causality 위반에도 쉽게 무너진다.
고품질 추론 데이터를 활용해 15B 추론 모델을 성능 저하 없이 2.1배 빠른 Mamba 하이브리드로 증류했다.
SD3.5-Flash는 몇 단계만으로도 고품질 이미지를 내는 경량 distillation 프레임워크다.
Kanana Nano-2.1B는 크기를 26% 줄였음에도 Kanana Essence의 93% 한국어 성능을 유지했다.
카카오가 3T 토큰으로 학습한 Kanana Essence가 llama-3.1-8b 대비 벤치마크 평균에서 더 높은 성능을 기록했으며, Kanana Nano는 프루닝 및 증류 기법으로 효율성을 극대화했다.