PyTorch GPU 메모리 시각화 가이드

RuntimeError: CUDA out of memory 오류의 원인을 파악하고 해결하기 위해 PyTorch의 내장 기능을 활용하여 GPU 메모리 사용량을 시각화하는 방법을 안내한다.

PyTorch 메모리 시각화 도구 활용

• torch.cuda.memory._record_memory_history()를 사용하여 메모리 스냅샷 기록을 시작한다.
• torch.cuda.memory._dump_snapshot()로 생성된 profile.pkl 파일을 PyTorch memory viz 웹사이트에 업로드하여 시각화된 그래프를 확인할 수 있다.

메모리 프로파일링 분석

• 모델 생성, 입력 텐서 할당, 순전파(Forward Pass) 과정에서 발생하는 메모리 변화를 단계별로 추적한다.
• 특히 역전파(Backpropagation)를 위해 모델이 활성화 함수(Activation) 텐서를 어떻게 유지하는지, 그리고 변수 재할당 시 메모리가 어떻게 해제되는지를 상세히 설명한다.
• Qwen2.5-1.5B와 같은 실제 LLM 학습 루프를 예시로 들어, 복잡한 모델의 학습 과정에서 발생하는 메모리 패턴을 프로파일링하는 실전 방법을 제공한다.