AI Briefing#llm-training
#llm-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-training와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DeepSeek-V4.1-Flash가 학습 중 자체 코드 레이어를 재작성해 수학 정확도를 7%p 높였다
Ricursive의 Ripple-65B가 TerminalBench 2.1에서 80.52점을 기록하며 미국 오픈웨이트 SOTA를 달성했다
Soft-MTP가 노이즈 그라디언트를 제거해 퍼플렉시티를 낮추고 스펙ulative decoding을 가속했다
Baron et al.은 10^29 FLOPs에서 Chinchilla 대비 7,000배 큰 모델을 제안했다.
Fireworks가 Forge에서 초고속 추론, Nexus, Sovereign을 공개했다
Specific-Labs가 19,652건의 실제 코딩 세션을 담은 Scaffold Agent 데이터셋을 공개했다.
Meta 연구 결과 바이트 기반 모델이 초기 학습 시 토큰 모델 대비 약 6배 적은 텍스트로 동등한 성능을 달성했다
TorchTPU와 TorchTitan이 대규모 LLM 학습에서 50% 이상 MFU를 달성했다.
NVIDIA와 AI4Bharat가 22개 인디언 언어를 포함한 2.8조 토큰 규모 데이터셋을 공개했다.
NVIDIA 연구팀, 오프라인 롤아웃 기반 Semi-OPD가 온정책 증류보다 17개 중 14개 사례에서 우월함을 입증했다.
Sakana AI의 MASS 프레임워크가 단일 LLM으로 라운드 2에서 69.9% 승률을 달성했다.
REINFORCE에서 GRPO로 이어지는 LLM 정책 그래디언트 유도법과 추론 엔진 불일치 문제를 다뤘다.
Templar가 파이프라인 병렬 학습 중 장애 발생 시 스테이지를 생략해 학습을 지속하는 시뮬레이션 결과를 공개했다.
Jane Street 연구진이 시퀀스 가중치와 손실 감소 간 관계가 모델 크기에 따라 비단조적으로 변하는 현상을 규명했다.
Reef Infra가 사용자 피드백을 강화학습 신호로 변환하는 OpenClaw-RL 레시피와 세션 매칭 기술을 공개했다.
네이버클라우드가 Helion DSL을 활용해 B200 GPU의 Mamba-2 커널을 최적화해 단일 레이어 연산 속도를 1.33배 높였다.
CUA-Lite가 로컬 모델의 컴퓨터 사용 에이전트 실행, 평가, 학습을 위한 오픈소스 도구를 공개했다.
Chunked KL loss가 32K 컨텍스트에서 Knowledge Distillation 메모리를 약 85GB에서 5GB로 줄였다.