AI Briefing#gpu-optimization
#gpu-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#gpu-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
NVIDIA가 공개한 Reshard 연산이 분리 배치 RL 환경의 가중치 전송 시간을 최대 5.7배 단축했다.
Modular가 LLM 추론 지표와 최적화, 운영 비용을 다루는 57페이지 무료 핸드북을 공개했다.
TKCC가 영속 엔진으로 시작 시간을 9.0초로 줄여 실시간 추론 최적화를 실현했다.
Meta Andromeda가 MoE와 GPU 커널로 초당 10억 건 처리했다
B300 GPU에서 Mamba-2 순전파 속도를 최대 1.82배 높인 cuTile 커널이 공개됐다.
PyTorch 2.15가 Mac GPU MoE 디코딩을 5~6.5배 향상시키고 FP8을 지원한다.
Humming이 H20 GPU에서 양자화 추론 처리량을 최대 43%까지 향상시켰다.
하네스 수정으로 인한 캐시 미스가 에너지 소비를 최대 2.5배까지 증가시킨다.
GPU 자원 최적화부터 장애 복원력까지, AI 인프라의 효율적 운영 기술 사례를 소개했다.
StreamRender-H3가 8 GB200 GPU에서 218ms 스트리밍 단계를 달성해 PyTorch 대비 3.67배 빨라졌다.
추측 디코딩은 연산량을 늘려 유휴 컴퓨트를 활용함으로써 LLM 추론을 가속화한다.
vLLM이 H100에서 네이티브 대비 3.4% 이내 성능을 유지하며 다양한 가속기를 지원하는 하드웨어 독립적 계층을 도입했다.
Underdog이 MLX보다 모든 측정 항목에서 빠르고, 특히 편집 작업에서 최대 4.5배의 성능을 내는 모델 특화 추론 엔진 'Husky'를 공개했다.
Hugging Face가 GPU 유휴 시간을 줄이고 최대 30배의 처리 속도 향상을 목표로 하는 tokenizers v1을 공개할 예정이다.
Anthropic이 Claude를 활용해 30개 이상의 오픈소스 생체분자 모델을 평균 4배 가속하고, 단일 GPU로 1만 토큰 이상의 대규모 시스템 예측에 성공했다.
NVIDIA가 JAX용 Transformer Engine을 통해 Dropless MoE 학습에서 GB200 기준 GPU당 1,025 TFLOPs를 달성하며 처리량을 약 10배 개선했다.
5090 GPU에서 1.5시간 만에 학습된 소형 Transformer가 ARC-AGI 44%를 달성하며 LLM의 낮은 샘플 효율성을 비판했다.
vLLM v0.28.0은 Kimi-K3와 DeepSeek V4 모델에 대한 대규모 성능 최적화 및 추론 기능을 추가했다.
PCIe 스트리밍을 활용해 소비자용 GPU에서 대규모 MoE LLM을 실행하는 오픈소스 엔진 LayerStoRm이 공개됐다.
LMSys가 H20 GPU에서 DeepSeek-V4-Pro 서빙 성능을 극대화하는 최적화 전략을 공개했다.
NVIDIA Blackwell GPU에서 Flash Attention v2 대비 최대 3.5배 빠른 블록 대각 어텐션 커널을 구현했다.
Hopper 및 Blackwell GPU에서 MiniMax Sparse Attention(MSA)을 효율적으로 학습할 수 있는 오픈소스 커널을 공개했다.