Inference Endpoints로 MusicGen 배포하기

MusicGen은 텍스트 프롬프트나 멜로디를 입력받아 음악을 생성하는 모델이다. Hugging Face의 Inference Endpoints와 **커스텀 핸들러(Custom Handler)**를 활용하면 transformers의 기본 pipeline에서 지원하지 않는 모델도 손쉽게 배포할 수 있다.

배포 과정은 다음과 같다:

• MusicGen 저장소를 자신의 프로필로 복제(Duplicate)
• handler.py에 커스텀 핸들러 작성 및 requirements.txt에 의존성 추가
• 해당 저장소를 기반으로 Inference Endpoint 생성

커스텀 핸들러는 __init__ 메서드에서 모델과 프로세서를 초기화하고, __call__ 메서드에서 입력 데이터를 받아 생성된 음악을 반환하도록 구현한다.