PatchTST 시계열 모델 활용법

PatchTST는 시계열 데이터를 패치(patch) 단위로 분할하여 Transformer에 입력하는 모델로, ICLR 2023에서 발표된 연구를 바탕으로 한다.

주요 핵심 구성 요소는 다음과 같다:

• 패치 세그멘테이션(Segmentation): 시계열을 하위 시리즈 레벨의 패치로 나누어 Transformer의 입력 토큰으로 활용한다.
• 채널 독립성(Channel-independence): 각 채널을 단변량 시계열로 처리하며, 모든 시리즈가 동일한 임베딩 및 Transformer 가중치를 공유하는 글로벌 단변량 모델 방식을 채택한다.

이러한 설계는 세 가지 주요 이점을 제공한다:

1. 임베딩 과정에서 **지역적 의미 정보(local semantic information)**를 보존한다.
2. 패치 간 스트라이드를 통해 어텐션 맵의 계산 및 메모리 사용량을 획기적으로 절감한다.
3. 패치 길이와 컨텍스트 길이 사이의 조절을 통해 **더 긴 과거 이력(long history)**을 참조할 수 있다.

또한, PatchTST는 마스크된 시계열 사전 학습(masked pre-training)과 직접적인 시계열 예측을 모두 지원하는 모듈형 구조를 갖추고 있다.