AI Briefing#memory-optimization
#memory-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#memory-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp 최적화로 초안 생성 최대 140배 빨라지고 메모리 2.6배 감소했다.
Cloudflare가 Pingora의 일관된 해싱 구조를 최적화해 전 세계 인프라에서 RAM 100TB를 회수했다.
Alexia Jolicoeur-Martineau 연구팀이 슬라이딩 윈도우 어텐션과 어텐션 싱크를 결합해 선형 어텐션을 대체하는 논문을 공개했다.
Cloudflare가 DNS 캐시 저장 방식을 최적화해 100TB의 메모리를 절감하고 성능을 향상시켰다.
Sakana AI가 ICLR 2026에 발표한 DiffusionBlocks 기법으로 딥러닝 학습 시 메모리 사용량을 대폭 절감할 수 있게 됐다.
AirLLM이 희소 MoE 모델 스트리밍으로 Kimi K3(2.8T)를 4GB VRAM에서 구동 가능하게 업데이트했다.
Chunked KL loss가 32K 컨텍스트에서 Knowledge Distillation 메모리를 약 85GB에서 5GB로 줄였다.
WASTE가 64GB MacBook Pro에서 2.78T Kimi K3를 디스크 스트리밍으로 실행했다.
LLM 학습 중 발생하는 Cross Entropy 계산 시의 메모리 급증 문제를 분석하고 해결 방안을 제시한다.
입력 데이터에 따라 압축 예산을 자동으로 조절하는 임계값 없는 KV Cache 압축 기술 ReFreeKV를 제안한다.
KV 캐시를 압축하여 RAM이나 디스크에 저장함으로써 모델의 컨텍스트 길이를 획기적으로 확장하는 InfiniteKV가 공개되었습니다.
Transformer 학습의 메모리 병목을 해결하는 GPU 커널 추상화 CODA 공개됨
Quanto 양자화 도구를 활용해 Diffusion Transformer 모델의 메모리 사용량을 효율적으로 줄이는 방법을 제시한다.
KV Cache 양자화를 통해 LLM의 메모리 사용량을 줄이고 더 긴 컨텍스트 생성을 지원한다.