AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AMD가 128GB 통합 메모리를 갖춘 Ryzen AI Halo를 4,000달러에 출시했다.
PyTorch 2.15가 FP8 지원과 Metal 최적화로 Mac에서 MoE 디코딩 속도를 5~6.5배 높였다
기본 설정에서는 성능이 비슷하지만, 출력 길이와 접두사 재사용 여부에 따라 최적 엔진이 달라진다.
Spotify와 NVIDIA 협업을 통해 Qwen3 1.7B 모델의 빔 서치 워크로드 비용을 최대 54% 절감했다.
llama.cpp 대비 생성 속도 4.6배 향상, 12GB VRAM으로 125B MoE 모델 구동
하네스 수정으로 인한 캐시 미스가 에너지 소비를 최대 2.5배까지 증가시킨다.
QUASAR가 Qwen3.5 등 4-bit QAT 체크포인트를 공개해 기존 대비 낮은 KL 발산을 달성했다.
HELIX Engine이 SWE 벤치마크에서 토큰 사용량을 77.73% 줄였으나 해결 작업 수는 38개에서 34개로 감소했다.
Janas-LLM이 32GB RAM 노트북에서 48.4GB MoE 모델 생성 속도 24 tok/s를 달성했다.
AI 코딩 에이전트가 코드 생성량을 30% 늘렸지만 리뷰 시간이 49% 증가해 전체 소프트웨어 출력은 유의미한 변화가 없었다.
추측 디코딩은 연산량을 늘려 유휴 컴퓨트를 활용함으로써 LLM 추론을 가속화한다.
AI가 설계한 오픈소스 가속기 openTPU가 FPGA에서 LLM 추론에 성공했다.
DTOC 프레임워크가 도구 출력 동적 숨김으로 해결률을 높이고 토큰 비용을 줄였다.
Ray와 vLLM 기본 설정이 인증 없는 제어 포트 노출로 크로스 네임스페이스 공격에 취약한 것으로 드러났다.
CoWA와 MALA가 128K 토큰에서 최대 8.6배 어텐션 속도 향상을 달성하며 FullAttn과 유사한 성능을 유지했다.
오픈 웨이트 Jeff 모델이 로컬 하드웨어에서 30ms 지연으로 Jev 벤치마크를 상회했다
Liquid AI가 VLM 모델 LFM2.5-VL-3B의 추측 디코딩을 위한 초안 모델 LFM2.5-VL-3B-DSpark를 공개했으며, Apple M5 Max에서 디코딩 속도를 최대 3.13배까지 향상시켰다.