LG AI Research 291

기존 Transformer 아키텍처는 뛰어난 성능을 보여주지만, 시퀀스 길이에 따라 연산 비용이 제곱(quadratic)으로 증가하는 한계가 있습니다. 이는 문서 요약이나 고해상도 이미지 처리와 같은 긴 시퀀스 작업에 직접 적용하기 어렵게 만듭니다.

기존의 희소 어텐션(Sparse Attention) 방식은 모든 레이어에 동일한 수정을 적용하여 성능과 비용 간의 최적의 균형을 맞추기 어렵다는 단점이 있습니다. 이를 해결하기 위해 각 어텐션 헤드가 데이터에 따라 스스로 희소성을 조절할 수 있는 SBM-Transformer를 제안합니다.

SBM-Transformer는 각 어텐션 헤드에 혼합 멤버십 **Stochastic Block Model(SBM)**을 부여하여 작동합니다.

• 동작 원리: 각 헤드는 입력 토큰을 노드로 보고, 쿼리와 키를 연결하는 이분 그래프(Bipartite Graph)를 샘플링합니다.
• 그래프 샘플링: 입력값에 의해 매개변수화된 SBM을 사용하여 쿼리 소스 노드, 키 목적지 노드, 클러스터 간 연결 확률을 결정합니다.
• 유연성: 데이터의 특성에 따라 밀집(Dense) 어텐션과 희소(Sparse) 어텐션 사이를 유연하게 전환하며 연산 비용을 최적화합니다.