AI Briefing#scaling-laws
#scaling-laws와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#scaling-laws와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Baron et al.은 10^29 FLOPs에서 Chinchilla 대비 7,000배 큰 모델을 제안했다.
Apple이 3B 규모에서 6.4T 토큰으로 학습된 최초의 3모달 MDM을 공개했다.
다리오 아모데이는 AI 규제가 권력 집중이 아닌, 공정한 제도를 통한 리스크 관리와 경쟁 촉진의 수단이 되어야 한다고 강조했다.
Dyna-2가 100만 시간의 인간 영상으로 인간·로봇 모두의 스케일링 법칙을 입증했다.
Meta가 오프라인 사용자 모델링과 온라인 랭킹을 분리한 시퀀스 학습 플랫폼을 개발했다.
문샷 AI가 2.78조 개의 매개변수를 가진 MoE 모델 Kimi K3의 가중치와 기술 문서를 공개했다.
샤오미가 10만 시간의 비체화(Embodiment-free) 데이터로 학습한 로봇 파운데이션 모델을 공개했다.
언어 모델의 암기(Memorization)와 일반화(Generalization)를 분리하여 모델의 용량을 측정하는 새로운 방법론을 제시한다.
연속적 확산(Continuous Diffusion) 기반 음성 모델이 스케일링 법칙을 따르며 효율적인 추론 가능성을 보여주었다.
모델 크기, 데이터 양, 연산량이 학습 손실(Loss)에 미치는 예측 가능한 관계인 스케일링 법칙을 분석한다.
서로 다른 신경망에서 공통적으로 발견되는 'Rosetta 뉴런'이 모델 규모가 커질수록 더 전문화된다는 연구 결과가 발표되었습니다.
비용 압박으로 인해 AI 워크로드의 대다수가 고성능 모델 대신 효율적인 소형 모델로 이동할 전망이다.