Fused MLP를 이용한 PyTorch 최적화

PyTorch Profiler를 사용하여 nn.Linear 레이어의 동작을 분석하면, CPU의 스케줄링 오버헤드와 GPU 커널 실행 사이의 관계를 파악할 수 있습니다. 단순한 행렬 곱셈(matmul)과 덧셈(add)의 조합은 각각 별도의 커널로 실행되어 불필요한 오버헤드를 발생시킵니다.

MLP(Multilayer Perceptron) 블록을 구성할 때, 여러 개의 선형 레이어와 활성화 함수가 반복되면 커널 실행 횟수가 늘어나고 이는 성능 저하로 이어집니다. 이를 해결하기 위해 여러 연산을 하나의 커널로 합치는 Fused MLP 기법이 필요합니다.

본 가이드에서는 다음과 같은 핵심 과정을 다룹니다:

• nn.Linear의 내부 동작 및 프로파일링 분석
• 행렬 곱셈 시 발생하는 Transpose 연산의 영향
• 커널 퓨전(Kernel Fusion)을 통한 연산 오버헤드 감소 원리