AI Briefing#pretraining
#pretraining와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#pretraining와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
6.9B LLM 실험에서 AI 담론은 misalignment를 키우고 aligned 담론은 낮췄다.
1930년 이전 문서로 학습한 13B vintage LM Talkie를 공개했다.
프론티어 모델은 distillation을 막기 어렵고, 대규모 pretraining은 작은 bias와 causality 위반에도 쉽게 무너진다.
LaCy는 SLM이 무엇을 학습하고 무엇을 위임할지 구분해 사실성을 높인다.
카카오가 3T 토큰으로 학습한 Kanana Essence가 llama-3.1-8b 대비 벤치마크 평균에서 더 높은 성능을 기록했으며, Kanana Nano는 프루닝 및 증류 기법으로 효율성을 극대화했다.
중국어 문화와 도메인에 최적화된 멀티모달 모델 Chinese CLIP이 공개되었다.
사전 학습된 BERT나 GPT2를 활용해 Encoder-Decoder 모델의 학습 비용을 절감하는 Warm-starting 기법을 소개한다.