AI Briefing#catastrophic-forgetting
#catastrophic-forgetting와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#catastrophic-forgetting와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Google Research의 sleep framework가 LLM의 10M 토큰 기억과 추론 능력을 향상했다.
CVPR 2022에서 발표된 Transformer 기반 및 자기지도 학습 기반의 연속 학습 최신 연구 동향을 소개한다.
CVPR 2022에서 발표된 Transformer 기반 및 자기지도 학습 기반의 Continual Learning 연구 트렌드를 소개한다.
Self-Distillation Fine-Tuning으로 데모 학습의 망각을 줄였다.
저자는 SFT, RL, OPD를 분포 관점에서 비교하며 정책 기반 샘플링의 중요성을 강조했다.
Nova Forge는 기업이 자기 데이터로 frontier 모델을 직접 학습하게 한다.