NVIDIA CompileIQ 오토튜닝을 통한 커널 성능 극대화

기존 NVIDIA GPU 컴파일러는 모든 워크로드에 범용적인 휴리스틱(레지스터 할당, 명령어 스케줄링, 루프 언롤링 임계값 등)을 적용한다. 이러한 방식은 전반적으로 우수한 성능을 내지만, 특정 워크로드에 최적화된 성능을 끌어내기에는 한계가 있다.

특히 LLM 추론 환경에서는 GEMM과 어텐션 커널이 전체 연산의 90% 이상을 차지한다. 따라서 이 핵심 커널들의 성능을 아주 미세하게라도 개선하는 것이 전체 애플리케이션 성능에 막대한 영향을 미친다.

CompileIQ는 진화 및 유전 알고리즘을 활용해 개별 커널에 특화된 컴파일러 설정을 생성하는 AI 기반 오토튜닝 프레임워크다. 공개되지 않은 내부 컴파일러 파라미터를 탐색하여 최적의 **ACF(Advanced Controls File)**를 생성하며, 이를 통해 특정 워크로드에 최적화된 커널 바이너리를 만들어낸다.

사용법은 매우 간단하다:

• Python 환경에서 pip install compileiq로 설치 가능
• PTXAS 및 NVCC를 위한 컴파일러 검색 공간 자동 지원
• 개발자는 벤치마크 점수를 반환하는 목적 함수(Objective Function)만 정의하면 됨