Transformer 효율화 핵심 기술 4가지

Transformer 모델의 시퀀스 길이에 따른 메모리 및 시간 복잡도의 이차적(quadratic) 증가 문제를 해결하기 위한 주요 연구들을 정리했다.

주요 접근 방식은 다음과 같은 네 가지 범주로 분류된다:

• Custom attention patterns: Longformer와 같이 윈도우 기반 또는 전역 어텐션을 결합하여 선형 스케일링을 구현함.
• Recurrence: Compressive Transformer와 같이 순환 구조를 사용하여 정보를 압축하고 전달함.
• Low-rank approximations: Linformer와 같이 어텐션 행렬을 저차원으로 근사하여 효율성을 높임.
• Kernel approximations: Performer와 같이 커널 함수를 사용하여 어텐션 메커니즘을 근사함.

이러한 기술들은 기존의 512 또는 1024 토큰 제한을 넘어 더 긴 시퀀스를 효율적으로 학습하고 추론할 수 있도록 지원한다.