webml-kit: 브라우저용 ML 실행 도구

webml-kit은 WebGPU 및 WASM을 사용하여 브라우저에서 머신러닝 모델을 로드하고 실행할 수 있도록 지원하는 프레임워크 불가지론적(framework-agnostic) 유틸리티입니다.

기존 브라우저 기반 ML 구현 시 반복되던 Web Worker 보일러플레이트 작성, postMessage 연결, 모델 캐싱, GPU 복구 등의 복잡한 과정을 자동화하여 개발 편의성을 높였습니다.

**Hugging Face의 transformers.js**를 기반으로 하며, 다음과 같은 핵심 기능을 제공합니다:

• 장치 감지 및 최적화: WebGPU, WASM, CPU 백엔드 자동 감지 및 권장 데이터 타입(dtype) 제공
• 효율적인 모델 관리: 모델 캐싱 및 토큰 스트리밍 지원
• 추론 관리: KV-캐시 관리 및 추론 중 GPU 손실 시 복구 기능

사용자는 간단한 API 호출만으로 모델을 로드하고, 생성되는 토큰을 실시간으로 스트리밍할 수 있습니다.