AI Briefing#pretraining
#pretraining와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#pretraining와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LingBot-Touch가 재구성 모델 대비 촉각-비디오 recall에서 압도적 우위를 보였다
LIFT 아키텍처가 토큰 간 숨겨진 상태를 전달해 표준 Transformer보다 성능을 개선했다.
Steven Byrnes는 LLM이 수학에서 뛰어난 이유는 검증 용이성보다 수학 문헌의 높은 정확도(99% 이상)와 이를 기반으로 한 사전학습 데이터의 품질 때문이라고 주장한다.
2019~2025년 사전학습 진보에서 데이터 개선이 모델 개선보다 3.24배 큰 컴퓨팅 효율성 향상을 제공했다.
Magic은 새 사전학습 레시피가 DeepSeek V4 Pro Base와 유사한 성능에 약 50배 적은 FLOPs로 도달했으며, 이후 약 10배 확장한 학습에서는 공개 base 모델들을 perplexity 평가에서 앞섰다고 밝혔다.
확장된 모델 사전 학습과 추적을 통합한 IDEA Prune 파이프라인이 LLM 압축 성능을 개선했다.
Apple이 이중어 어휘를 활용한 데이터 개입 기법 LINK를 제안해 다국어 LLM 학습 효율을 크게 높였다.
LittleLearner는 특정 교육 과정 데이터로 학습된 모델을 통해, 사전 학습 데이터가 모델의 지식 습득 한계를 결정한다는 점을 입증했다.
모델을 정교하게 probing해 지식 cutoff와 pre-training 시점을 추정한다.
Mirendil이 Google Cloud의 TPU와 NVIDIA GPU로 AI 모델 사전·사후 학습을 진행한다.
Google이 역대 가장 야심찬 규모의 사전 학습(pre-training) 실행을 시작했다고 공식 발표했다.
OpenAI 공동 창립 멤버인 Andrej Karpathy가 Anthropic의 Claude pre-training 팀에 합류했다.
OpenAI 공동 창립자 안드레 카파시가 Anthropic의 사전 학습(Pre-training) 부문에 합류한다.