AI Briefing#llm-training
#llm-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Hugging Face가 역대 최대 규모의 오픈 소스 코드 데이터셋인 The Stack v3를 출시했다.
화웨이 주도 컨소시엄이 화웨이 Ascend 칩을 활용한 DeepSeek V4 모델의 학습 성능을 입증하는 기술 보고서를 발표했다.
Prime Intellect가 에이전트 RL 및 평가를 위한 환경 스택인 verifiers v1을 출시했다.
Meta가 루이지애나주에 500억 달러 규모의 초대형 AI 인프라 프로젝트인 Hyperion을 확장한다.
Hopper 및 Blackwell GPU에서 MiniMax Sparse Attention(MSA)을 효율적으로 학습할 수 있는 오픈소스 커널을 공개했다.
LLM 학습 중 발생하는 Cross Entropy 계산 시의 메모리 급증 문제를 분석하고 해결 방안을 제시한다.
Meta가 AI 경쟁력을 위해 엔지니어 조직을 데이터 라벨링 중심의 ADO 조직으로 강제 재편하며 내부 갈등을 겪고 있다.
Recursive가 모델 학습 및 GPU 커널 최적화에서 SOTA를 달성한 자동화된 AI 연구 시스템의 초기 결과를 공개했다.
Hugging Face가 DeepSeek-R1의 학습 파이프라인을 재현하기 위한 오픈소스 프로젝트인 Open-R1을 공개했다.
자율 연구 에이전트 Aiden이 OpenAI의 Parameter Golf 챌린지에서 인간 참가자들을 제치고 최다 기여를 기록함.
Qwen, DeepSeek 등 최신 모델의 핵심 학습 기법인 On-policy distillation(OPD)을 소개한다.
1980~2013년 사이의 Usenet 데이터를 활용한 103B 토큰 규모의 AI 오염 없는 데이터셋이 공개되었습니다.
TRL 라이브러리에 변경된 가중치만 전송하는 Delta Weight Sync 기능을 추가하여 RL 학습 시 대역폭 소모를 획기적으로 줄였다.
Qwen 모델이 필요한 시점에만 짧게 추론하도록 학습시키는 TIME 방법론과 TIMEBench가 공개되었습니다.
Meta와 Zuckerberg가 Llama 학습용 저작권 침해 혐의로 피소됐다.
비동기 강화학습(Async RL)의 효율성을 높이기 위한 16개 오픈소스 라이브러리의 설계 패턴과 기술적 차이점을 분석했다.
Hugging Face가 백만 토큰 이상의 긴 컨텍스트 학습을 지원하는 Ulysses Sequence Parallelism을 주요 라이브러리에 통합했다.
GPT-OSS 모델에 Agentic RL을 적용하여 에이전트 성능을 최적화하는 기술적 도전과 해결 과정을 다룬다.