단일 4GB GPU에서 AirLLM으로 70B 모델 추론

AirLLM은 대규모 언어 모델의 추론 과정에서 필요한 메모리를 줄여, 양자화·증류·가지치기 없이 70B급 모델을 단일 4GB GPU에서 실행할 수 있다고 설명하는 오픈소스 프로젝트다.

핵심은 모델 전체를 GPU 메모리에 올리지 않고 레이어를 순차적으로 스트리밍하는 방식이다. 희소 MoE 모델은 한 번에 전체 전문가를 로드하지 않고 전문가를 하나씩 처리해 메모리 사용량을 더 줄인다.

저장소가 제시한 실행 예시는 다음과 같다.

• Llama 3.1 405B: 8GB GPU
• DeepSeek-V3 671B: 약 12GB GPU
• Kimi K3 2.8T: 4GB 미만 GPU

프로젝트는 Python 패키지와 Quickstart, 구성 옵션, macOS 지원, 예제 노트북 및 FAQ를 제공한다. 다만 소개된 수치는 저장소의 주장으로, 실제 처리 속도와 전체 모델 저장공간·CPU 메모리 요구량은 별도로 확인해야 한다.