Hugging Face, WebGPU 커널 공개

Hugging Face의 WebAI 팀이 브라우저 기반 AI 추론의 속도와 사용성을 개선하기 위해 @huggingface/kernels 라이브러리와 207개의 WebGPU 커널을 공개했다. 이는 브라우저 추론 스택의 최하위 계층인 GPU 연산을 최적화하여, 상위 런타임이 더 효율적인 실행 계획을 수립할 수 있도록 돕는 것이 목적이다.

커널의 구성과 특징

공개된 커널은 행렬 곱셈, 정규화, 컨볼루션, 어텐션 등 다양한 ML 아키텍처에서 사용되는 연산을 포함한다. 각 커널은 단순한 셰이더 코드가 아닌, 버전 관리되는 독립적인 패키지로 Hub에 게시된다.

• 완전한 계약(Contract): 각 저장소에는 연산의 입출력, 데이터 타입, 형태 규칙을 정의하는 manifest.json, 정확성 테스트 케이스(test.json), 벤치마크 케이스(bench.json), 그리고 파라미터화된 WGSL 셰이더 템플릿이 포함된다.
• 재현성 및 검증: 인터페이스를 WGSL 코드 읽기 없이도 확인할 수 있으며, 정확성과 성능 데이터가 구현체와 함께 전달되어 신뢰할 수 있는 소프트웨어 아티팩트로 활용 가능하다.

Fleet: 크라우드소싱 기반 벤치마킹 도구

Hugging Face는 브라우저에서 직접 GPU 성능과 정확성을 테스트하는 도구인 Fleet도 함께 출시했다. 사용자의 동의 하에 실행된 데이터는 실제 하드웨어 환경에서의 오류나 성능 저하 사례를 수집하는 데 사용되며, 이를 통해 커뮤니티는 다양한 디바이스에서의 커널 최적화에 기여할 수 있다.