#llm-pretraining
#llm-pretraining와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-pretraining와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Meta의 TLX가 Blackwell GPU에서 20-25% E2E MFU를 달성했다.
bilingual mixing이 하이퍼파라미터 튜닝보다 성능 향상 효과가 더 큰 것으로 나타났다.
OLMo3-32B는 산술 평가에서 2.17T~2.19T 토큰 구간 점수가 81%에서 0%로 급락했다.
Magic AI가 DeepSeek V4 Pro와 유사한 성능을 약 48배 적은 FLOPs로 달성한 Magic V5 e24 모델을 공개했다.