HuggingFace, Perceiver IO 지원

Perceiver IO는 텍스트, 이미지, 오디오, 비디오, 포인트 클라우드 등 다양한 모달리티와 그 조합을 처리할 수 있는 Transformer 기반 신경망이다.

기존 Transformer의 핵심 한계인 자기 어텐션(Self-attention)의 이차 복잡도(Quadratic complexity) 문제를 해결하기 위해, 입력 데이터가 아닌 **잠재 변수(Latent variables)**에 어텐션을 적용하는 방식을 사용한다.

대부분의 연산이 저차원의 잠재 공간(Latent space)에서 이루어지므로, 입력 크기에 관계없이 연산 비용을 효율적으로 관리할 수 있으며 입력 크기에 대해 선형적인 의존성을 가진다.

HuggingFace의 Transformers 라이브러리에 통합되어 PerceiverModel 클래스를 통해 사용할 수 있으며, 전처리기(preprocessor), 디코더(decoder), 후처리기(postprocessor)를 통해 다양한 데이터 형식을 유연하게 처리한다.