[NeurIPS 2022] 상징적 음악 모티프 생성 - LG AI Research BLOG

음악 창작의 첫 단계인 **모티프(Motif)**를 생성하기 위해, 곡 전체가 아닌 4~8마디 단위의 Loop를 생성하는 데 집중한 연구를 소개한다. MIDI 데이터를 십육분음표 단위로 양자화한 Binary Representation을 사용하여 데이터를 처리한다.

음악의 반복 패턴을 반영하기 위해 One-class Loop Detector를 설계했다. Deep SVDD 기반의 이상 탐지(Anomaly Detection) 원리를 활용하여, 음악의 구조적 규칙을 학습하고 루프 여부를 판별하는 성능을 입증했다.

생성 모델은 VQ-VAE를 통해 루프 세트를 압축하고, 압축된 Discrete Latent Code를 LSTM으로 모델링하는 방식을 채택했다. 이를 통해 음악의 핵심 골격인 루프를 유한한 공간에서 표현할 수 있다.

성능 평가 결과, Music Transformer나 MuseGAN 대비 샘플의 충실도(Fidelity)와 다양성(Diversity) 측면에서 우수한 성능을 보였으며, 인간 청취 테스트에서도 긍정적인 결과를 얻었다.