AI Briefing#llm-inference
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
GGUF 파일 형식의 구성 요소인 채팅 템플릿, 특수 토큰, 샘플러 설정과 향후 개선 과제를 분석한다.
Qwen3 기반 Orthrus가 lossless 병렬 생성으로 최대 7.8배 빨라졌다.
Orthrus는 frozen backbone을 유지한 채 Qwen3-8B 추론을 최대 7.8배 가속한다고 밝혔다.
Diffusion 모듈을 활용해 기존 Transformer의 정확도를 유지하며 토큰 생성 속도를 최대 7.8배 높인 Orthrus를 공개했다.
llama.cpp b9158 버전에서 AMD RDNA3 GPU를 위한 Flash Attention 수정 사항이 반영되었습니다.
GGUF 파일 포맷의 구조와 채팅 템플릿, 특수 토큰 등 포함된 메타데이터의 역할을 상세히 설명한다.
AMD Strix Halo iGPU에서 Luce DFlash/PFlash를 통해 LLM 추론 성능을 최대 3배 이상 향상시켰다.
Apple Silicon에서 Ollama보다 최대 4.2배 빠른 추론을 지원하는 MLX 기반 로컬 AI 엔진입니다.
대만 Skymizer가 구형 칩과 메모리를 활용해 700B 규모의 LLM을 저전력으로 구동하는 PCIe AI 가속기 HTX301을 공개했다.
NVIDIA가 단일 체크포인트에서 다양한 크기의 모델을 추출할 수 있는 Star Elastic 기술을 공개했다.
Apple Silicon 칩셋별 LLM 추론 성능, 전력 효율 및 MoE 모델 구동 성능에 대한 벤치마크 분석 결과가 공개되었다.
Apple M4/M5 및 A18 Pro 칩의 LLM 추론 성능과 전력 효율성 분석 결과가 공개되었습니다.