AI Briefing#optimization
#optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
llama.cpp의 CUDA 커널 최적화를 통해 Bonsai 모델의 추론 속도를 약 5% 향상시켰습니다.
AI 에이전트 시스템의 모델 라우팅은 모델 선택 문제가 아니라 캐싱, 인프라, 규정을 포함한 시스템 최적화 문제다.
스탠퍼드와 버클리 연구진이 개발한 LLM 기반 데이터 분석 최적화 프레임워크 LOTUS를 소개한다.
GPU 메모리 효율을 높이기 위해 3개의 레이어 상태를 교차 관리하는 새로운 학습 기법을 제안한다.
Dropbox는 DSPy를 활용해 LLM 기반 평가 모델을 고도화하고, 이를 통해 Dash Chat 에이전트의 응답 품질과 효율성을 동시에 개선했다.
이론적으로는 난해한 최적의 Tokenizer 찾기 문제를 정수 선형 계획법(ILP)을 통해 실무적으로 해결하는 알고리즘을 제안한다.
Kubernetes 환경에서 LLM 서빙 효율을 높이기 위한 MLXP 최적화 기술 도입 사례를 다룬다.
AMD MI300X에서 요청당 최대 3,300 tokens/s를 달성하는 LLM 추론용 모노커널 기술이 공개되었다.
PyTorch 모델의 성능 병목을 파악하고 최적화하기 위한 torch.profiler 사용법을 다룬 가이드 시리즈의 첫 번째 글이다.
Transformer 학습의 메모리 병목을 해결하기 위해 GEMM-Epilogue 방식을 사용하는 GPU 커널 추상화 CODA를 제안한다.
프리필 단계에는 공격적 양자화를, 디코딩에는 고정밀 방식을 적용해 효율을 높이는 Mix-Quant 연구 발표