GaLore, 소비자용 GPU로 LLM 학습 지원

GaLore(Gradient Low-Rank Projection)는 대규모 언어 모델(LLM) 학습 시 메모리 효율성을 극대화하는 기술이다.

기존 Adam 옵티마이저의 높은 메모리 점유 문제를 해결하기 위해, 그래디언트를 저차원 부분 공간(low-rank subspace)으로 투영하여 저장한다. 이를 통해 옵티마이저 상태(optimizer states) 저장에 필요한 메모리를 82.5% 이상 절감할 수 있다.

주요 특징은 다음과 같다:

• 소비자급 하드웨어 지원: RTX 4090과 같은 GPU에서도 Llama 기반 7B 모델 학습이 가능하다.
• 동적 부분 공간 전환(Subspace Switching): 학습 과정 중 변화하는 그래디언트의 저차원 구조에 맞춰 부분 공간을 동적으로 전환함으로써 전체 파라미터 학습 능력을 유지한다.
• 8-bit 옵티마이저 결합: 8-bit 정밀도 옵티마이저와 함께 사용하여 메모리 효율을 더욱 극대화할 수 있으며, 현재 bitsandbytes 라이브러리와의 통합이 연구되고 있다.