IBM PatchTSMixer HF 공개

PatchTSMixer는 MLP-Mixer 아키텍처를 기반으로 한 경량 시계열 모델링 방식으로, IBM Research와 HuggingFace의 협업을 통해 Transformers 라이브러리에 공식 출시되었다.

이 모델은 패치(patch), 채널(channel), 은닉 특징(hidden feature) 간의 효율적인 믹싱을 지원하며, 게이트 어텐션부터 복잡한 셀프 어텐션 블록까지 다양한 어텐션 메커니즘을 지원한다. 사전 학습 후 예측, 분류, 회귀 등 다양한 다운스트림 태스크에 활용할 수 있다.

주요 성능 및 특징:

• 기존 MLP 및 Transformer 모델 대비 예측 성능이 8~60% 향상되었다.
• 최신 Patch-Transformer 모델 대비 성능은 1~2% 우수하면서도, 메모리 및 실행 시간은 2~3배 절감했다.
• transformers와 IBM의 tsfm 패키지를 통해 쉽게 사용할 수 있으며, Zero-shot forecasting 기능도 제공한다.