AI Briefing#distillation
#distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#distillation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple 연구진이 Pythia-1B를 Mamba 모델로 증류해 perplexity 14.01을 달성했다.
Kanzhun이 33B 밀집 모델 Nanbeige4.3-33B를 Apache 2.0으로 공개했다.
Qwen3 0.6B로 GRPO 학습 시 KL 항 제거가 성능 붕괴 방지와 효율 향상에 핵심임을 확인했다.
Meta 연구 결과 바이트 기반 모델이 초기 학습 시 토큰 모델 대비 약 6배 적은 텍스트로 동등한 성능을 달성했다
Apple 연구 블로그에 소개된 연구에서 이산 흐름 매칭의 궤적 품질을 개선하는 TS-DFM을 제안해, 8단계 추론으로 1,024단계 교사 모델 대비 퍼플렉시티를 32% 낮추고 속도는 128배 향상시켰다.
Apple이 실패한 도구 호출 시나리오를 복구해 모델 증류 성능을 크게 높이는 PROOF-Gen을 공개했다.
Robbyant 팀이 720p 60fps 실시간 상호작용이 가능한 14B 오픈소스 월드 모델 LingBot-World 2.0을 공개했다.
SenseNova가 전문가 모델 증류 기술로 단일 모델 추론이 가능한 U1.5-Lite를 정식 출시했다.
Liquid AI가 양자화 인식 증류(QAD)로 품질 저하를 최소화한 LFM2.5 Q4_0 모델을 공개했다.
Parallel Decoding Distillation은 여러 디노이징 단계를 한 번에 예측하여 비디오 생성 속도와 다양성을 개선한다.
Kimi K3는 현존 최강 오픈 모델이지만, 클로즈드 모델 최전선과는 여전히 수개월 격차가 있다.
모델 압축 기술에서 시작된 증류(Distillation)가 현재는 모델의 추론 능력을 전수하는 핵심 기술이자 저작권 논쟁의 중심이 되었다.
EdgeRazor는 다양한 하드웨어에 배포 가능한 혼합 정밀도 양자화 증류 기반의 LLM 경량화 프레임워크이다.
Hugging Face가 DeepSeek-R1의 학습 파이프라인을 재현하기 위한 오픈소스 프로젝트인 Open-R1을 공개했다.
Qwen-Image-Flash는 이미지 생성 모델 가속화를 위해 목적 함수를 넘어 데이터 구성과 학습 파이프라인 최적화의 중요성을 제시한다.