제1원칙을 통한 딥러닝 성능 극대화

딥러닝 모델의 성능 최적화는 단순한 트릭이 아닌, 시스템의 병목 지점을 파악하는 **제1원칙(First Principles)**에서 시작해야 합니다.

성능 효율성은 크게 세 가지 구성 요소로 구분됩니다:

• Compute (연산): GPU가 실제 부동 소수점 연산(FLOPS)을 수행하는 시간.
• Memory (메모리): GPU 내에서 텐서를 전송하는 데 걸리는 시간.
• Overhead (오버헤드): 그 외 모든 제어 및 관리 시간.

최적화의 핵심은 현재 시스템이 어떤 병목 구간에 있는지 파악하는 것입니다.

• Memory-bandwidth bound: 메모리 전송에 시간이 많이 소요되는 경우, GPU의 연산 능력(FLOPS)을 높여도 성능 향상이 미미합니다.
• Compute-bound: 대규모 행렬 곱셈(Matmul)에 시간이 집중되는 경우, 오버헤드를 줄이기 위한 코드 최적화는 큰 효과가 없습니다.

현대 하드웨어에서는 연산 능력(FLOPS)의 성장 속도가 메모리 대역폭의 성장 속도보다 훨씬 빠릅니다. 따라서 비싼 GPU의 연산 능력을 최대한 활용하려면 메모리 병목을 해결하여 Compute-bound 상태를 유지하는 것이 중요합니다. 특히 NVIDIA의 Tensor Cores와 같은 특수 하드웨어는 행렬 곱셈에 최적화되어 있으므로, 이를 제대로 활용하지 못하면 하드웨어의 잠재 성능을 제대로 끌어낼 수 없습니다.