AI Briefing#gpu-memory
#gpu-memory와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#gpu-memory와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
PagedAttention은 가상 메모리 개념을 적용해 LLM 추론 시 KV 캐시 메모리 낭비를 크게 줄인다.
GPU 메모리 효율을 높이기 위해 3개의 레이어 상태를 교차 관리하는 새로운 학습 기법을 제안한다.