[NeurIPS 2023] 오디오 및 음악을 위한 멀티모달 생성

NeurIPS 2023에서는 AI를 활용한 예술 작품 생성 연구가 활발히 논의되었습니다. 특히 구글 딥마인드의 Lyria와 메타의 Audiobox 같은 모델들이 오디오 및 음악 생성 분야에서 큰 주목을 받았습니다.

LG AI연구원 Data Intelligence(DI) 랩 또한 The Interface for Symbolic Music Loop Generation Conditioned on Musical Metadata 논문을 발표했습니다. 이 인터페이스는 악기, 템포, 음높이 등 메타데이터를 입력받아 4마디의 MIDI 루프를 생성하며, 음악 창작자의 효율적인 작업을 지원합니다.

멀티모달 생성(Multimodal Generation)은 대개 데이터를 압축하는 Encoder/Decoder 구조와 서로 다른 모달을 연결하는 Prior로 구성된 프레임워크를 따릅니다. 이 과정에서 Autoencoder를 통해 데이터를 압축하고, 학습된 Decoder를 통해 원래 도메인으로 복원하는 방식을 사용합니다.

데이터를 유한한 의미 단위로 표현하기 위해 Discrete Representation 기술이 활용됩니다. 대표적으로 VQ-VAE는 데이터를 압축하고 복원하는 과정에서 유한한 개수의 Code를 사용하여 데이터를 표현하는 핵심 원리를 제공합니다.