SDPA의 복잡도를 낮춘 SSOG 어텐션 공개

**SSOG(Sum Of Separable Gaussians)**는 기존 **SDPA(Scaled Dot-Product Attention)**의 $O(N^2 ext{·} d)$ 복잡도 문제를 해결하기 위해 제안된 새로운 어텐션 메커니즘입니다.

이 방식은 각 헤드에 대해 소수의 가우시안 원자(Gaussian atoms)를 학습하고, 쿼리 토큰을 기반으로 이를 기하학적으로 조절합니다. 가우시안 원자를 분리 가능한 합(separable sum)으로 인수분해할 수 있다는 점을 활용하여 연산 복잡도를 **$O(N ext{·} ext{√}N ext{·} d)$**로 낮추었습니다.

주요 특징 및 성능:

• 데이터셋 성능: CIFAR-100과 같은 소규모 데이터셋에서는 SDPA를 능가하며, **ImageNet-1k(IN1k)**와 같은 대규모 데이터셋에서는 대등한 성능과 더 빠른 수렴 속도를 보여주었습니다.
• 효율성: 모델 규모가 커질수록 메모리 사용량이 적고 처리 속도가 빨라지는 특성을 가집니다.