Underdog, MLX보다 최대 4.5배 빠른 모델 특화 추론 엔진 'Husky' 공개

Underdog의 Sigil Wen이 자사의 Pareto-frontier 모델인 'Woof' 전용 추론 엔진 'Husky'를 공개했다. Husky는 Apple MLX 대비 16가지 프롬프트 유형 모두에서 더 빠른 성능을 기록했으며, 특히 편집(edits) 작업에서 최대 4.5배까지 빨라졌다. 이는 모델의 고정된 행렬 크기에 맞춘 GPU 커널 최적화, 디스크에 저장된 4비트 가중치의 메모리 직접 매핑, 호스트 대기 시간을 제거한 GPU 커널 파이프라인 처리 등을 통해 달성되었다. 또한 'Flash Draft' 기능을 통해 한 단계에 8개의 토큰을 검증하며, 프롬프트에 이미 포함된 내용을 복제하는 데 효율적이다. Husky는 현재 Mac의 Underdog 앱에서 설정 없이 사용 가능하며, NVIDIA GPU를 위한 CUDA 지원도 개발 중이다.