AI Briefing#gpu-optimization
#gpu-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#gpu-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
하드웨어의 연산 및 메모리 대역폭 상태에 따라 투기적 디코딩의 토큰 수를 동적으로 조절하여 LLM 추론 효율을 극대화한다.
Moondream의 Photon 엔진이 파이프라인 디코딩 기술을 통해 GPU 유휴 시간을 줄여 추론 성능을 최적화하는 방법을 설명한다.
MiniMax가 대규모 문맥 처리를 위해 연산 효율을 극대화한 새로운 희소 어텐션 기술인 MSA를 발표했습니다.
Recursive가 모델 학습 및 GPU 커널 최적화에서 SOTA를 달성한 자동화된 AI 연구 시스템의 초기 결과를 공개했다.
PyTorch Profiler를 활용해 MLP 구조에서 발생하는 오버헤드를 분석하고 Fused MLP를 통한 최적화 방법을 설명한다.
DeepSeek-V4의 CSA KV-cache를 압축하여 GPU 메모리 효율을 극대화하는 경량 리트리버가 공개되었습니다.
GPU 클러스터의 자원 요구량을 정밀하게 예측하여 유휴 용량을 줄이는 Expanse를 출시했다.
AI 에이전트의 핵심 지표인 단일 요청 디코딩 속도를 최적화하여 표준 GPU에서 초당 3,000 토큰의 속도를 달성하는 기술을 설명한다.
Transformer 학습의 메모리 병목을 해결하는 GPU 커널 추상화 CODA 공개됨
DeepSeek V4 Flash를 Metal에서 돌리는 전용 로컬 추론 엔진 ds4가 공개됐다.
Warp Decode는 Blackwell GPU에서 MoE 추론의 병렬화 축을 전문가에서 출력값으로 전환해 성능을 1.84배 높였다.
올리브영이 T4 GPU 1장이라는 제한된 환경에서 Gemma 3 기반 sLLM을 구축하여 리뷰 테마 추천 시스템을 최적화했다.
Hugging Face가 커스텀 CUDA 커널의 개발부터 배포까지 지원하는 kernel-builder 라이브러리를 공개했다.
Hugging Face가 최적화된 연산 커널을 쉽게 불러와 모델 성능을 높일 수 있는 Kernel Hub를 공개했다.
Hugging Face가 vLLM을 활용해 Whisper 전사 성능을 최대 8배 향상시킨 Inference Endpoints 옵션을 출시했다.