gpu-unlock: RTX 3090 BF16 연산 속도 157 TFLOPS로

Nvidia GeForce 3000 시리즈의 FP16 및 BF16 명령어 발신 속도를 프로페셔널 등급 수준으로 끌어올리는 Linux 커널 모듈이다. GA102, GA103, GA104, GA106 칩셋을 탑재한 RTX 3090 Ti, 3080, 3070, 3060 등에서 FMA 연산 속도가 최대 2배까지 향상된다.

UEFI 패치나 NVIDIA 드라이버 수정 방식과 달리, 드라이버가 GPU에 바인딩되기 전에 초기화 단계를 수행한다. 이를 통해 NVIDIA가 새 드라이버 버전을 출시할 때마다 수동으로 패치를 적용할 필요가 없어진다. 부팅 시 initramfs에서 자동 실행되며, 디스플레이 출력 카드나 VM에 패스스루된 카드도 지원한다.

3090 Ti 기준 BF16 GEMM 성능이 87.5 TFLOPS에서 157.4 TFLOPS로, TF32는 42.6 TFLOPS에서 82.6 TFLOPS로 상승한다. LLM 프리필(prefill) 단계와 디퓨전 모델 추론, FlashAttention 연산에 특히 효과적이다. 메모리 대역폭이 병목인 LLM 디코딩이나 INT8 연산은 성능 변화가 거의 없다.

라이선스는 GPL-2.0-only이며, 생성된 펌웨어는 CMP 참조 코드에서 파생된다. 출력 값은 변경 전후가 비트 단위로 동일하다는 사용자 보고가 있다. 전력 제한이 낮은 환경에서는 성능 향상 폭이 줄어들 수 있으므로, 450W 이상의 전력 한도를 설정한 환경에서의 벤치마크를 참고해야 한다.