AI Briefing#inference
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Ramp이 온라인 학습 기반 동적 LLM 라우팅으로 AI 비용을 25% 이상 절감하고 오류율도 낮췄다.
Anthropic 공식 데이터로 분석한 Claude 모델 가격 추이: 최고급 모델은 2년간 $11→$10으로 안정적, Sonnet은 가격 고정, Haiku는 4배 인상.
llama.cpp에 Tencent의 299B MoE 모델인 Hy3 지원 및 MTP 기반 투사적 디코딩이 추가되었습니다.
Hugging Face Jobs 인프라를 통해 단 한 줄의 명령어로 OpenAI 호환 vLLM 엔드포인트를 구축할 수 있습니다.
AI GPU의 수명이 3년 내외라는 주장이 있으나, 실제 사례를 보면 그보다 훨씬 길게 유지될 가능성이 높다.
Apple이 연속 배치(Continuous Batching)와 분산 추론을 지원하는 MLX LM Server를 출시했다.
샤오미가 FP4 양자화와 DFlash 기술을 적용해 초당 1,000토큰을 생성하는 MiMo-V2.5-Pro-UltraSpeed를 공개했다.
영국은 NVIDIA의 인프라와 정부의 주권적 AI 펀드를 통해 AI 기술 자립을 가속화하고 있다.
엔비디아에 기술을 라이선스한 Groq가 데이터센터 인프라를 강점으로 6억 5천만 달러의 투자를 유치했다.
FuriosaAI가 Broadcom과 협력해 에이전트 AI 시대에 최적화된 3세대 추론 플랫폼을 개발한다.
llama.cpp의 버그로 인해 Qwen3.6-35B-A3B 모델의 KV 캐시가 누락되어 추론 속도가 크게 저하되는 문제가 발생했습니다.
LLM 추론의 핵심 병목인 메모리 대역폭 문제를 해결하기 위한 다양한 AI 하드웨어 기술과 기업들의 전략을 분석한다.
OWC가 Windows와 Linux PC에서 대형 AI 모델을 로컬 실행할 수 있는 Thunderbolt 5 장치를 발표했다.
Anthropic이 SpaceX와 협력을 넓혀 Colossus 2의 GB200 용량을 6월 내내 늘린다.
NVIDIA가 AR·diffusion·self-speculation을 지원하는 Nemotron-Labs-Diffusion을 공개했다.