LG AI Research 222

Transformer는 self-attention 메커니즘을 통해 문장 내 단어 간의 관계를 효과적으로 파악하며, NLP를 비롯한 다양한 분야의 백본(backbone) 역할을 하고 있다.

기존 RNN 계열 모델은 시계열 정보를 전달하는 과정에서 long-term dependency problem이 발생하고 병렬 처리가 어렵다는 단점이 있었으나, Transformer는 이를 극복하며 우수한 성능을 보여주었다.

하지만 self-attention은 입력 시퀀스 길이($N$)에 대해 $O(N^2)$의 연산량을 요구하여, 긴 시퀀스를 처리할 때 효율성이 떨어진다는 한계가 있다. 이를 해결하기 위해 다음과 같은 접근법이 제안된다.

• Approximation (근사화): 모든 attention weight를 계산하는 대신, 중요도가 높은 값만 계산하는 방식 (예: Sparse attention)
• 기타 효율적 구현 방식: 연산량을 줄여 long sequence 입력이 필요한 응용 분야에서도 활용 가능하도록 개선한다.