AI Briefing#model-optimization
#model-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
ThinkingCap가 thinking token을 최대 69.1% 절감하며 정확도는 0.15pp만 하락했다.
HF Viewer가 1000개 이상 모델을 지원하는 무료 엣지 디바이스 팜 embedl.com을 출시했다
AI21이 3개 파트너와 NVIDIA Nemotron 3.5 Super VL을 3주 만에 포스트 트레이닝해 저비용 프론티어 성능을 확보했다.
Telperion이 Qwen3.8-27B의 KV 캐시 4배 압축 변형을 공개해 SWE 성능 6.58%를 개선했다.
Samsung Labs가 Llama 3, Phi-4, Qwen3 등에서 가중치당 0.1비트까지 압축하는 LittleBit-2를 공개했다.
AI가 설계한 오픈소스 가속기 openTPU가 FPGA에서 LLM 추론에 성공했다.
Cloudflare, AI Gateway에 모델 과잉 감지 추가 및 Auto Router 클로즈드 베타 출시
CoWA와 MALA가 128K 토큰에서 최대 8.6배 어텐션 속도 향상을 달성하며 FullAttn과 유사한 성능을 유지했다.
샤오미가 MOPD로 MiMo-V2.6 반복 문제를 약 9만 달러에 해결했다.
Reactor와 Amazon이 Trainium용 NKI 최적화로 3D-RoPE 지연을 1.8ms로 줄여 실시간 영상 생성을 실현했다.
Cactus Compute가 29MB~121MB 크기의 초소형 파운데이션 모델 'Needle 3'를 공개했으며, 4레이어 서브네트워크가 DeepSeek V4 Flash와 동등한 자동화 성능을 달성했다고 밝혔다.
경사 하강법을 활용해 텐서별 최적 양자화 수준을 선택하는 Voodoo Dynamic Quant 도구가 MIT 라이선스로 공개됐다.
GGUF 모델 업로더 Bartowski가 새로운 텐서 레이아웃 맵을 적용한 양자화 모델의 성능 개선 연구를 공개했다.
TRL v1.14가 NCCL 대신 스토리지 버킷과 프록시를 활용해 LoRA 어댑터를 동기화하는 Async GRPO 기능을 공개했다.
2019~2025년 사전학습 진보에서 데이터 개선이 모델 개선보다 3.24배 큰 컴퓨팅 효율성 향상을 제공했다.
모델의 성능과 규모에 따라 에이전트에게 제공할 가이드라인의 양을 다르게 조절하여 성능과 비용을 최적화할 수 있다.
Gemini Distillation Service는 대형 모델의 추론 패턴을 소형 모델에 학습시켜 효율성을 극대화하는 기술이다.
NVIDIA Vera Rubin이 Post-Training 워크로드의 Intelligence per Dollar를 극대화하며 Agentic AI 시대의 경제성을 선도한다.
Orthrus는 frozen backbone을 유지한 채 Qwen3-8B 추론을 최대 7.8배 가속한다고 밝혔다.