DiScoFormer: 밀도와 스코어를 동시에 추정하는 Transformer

기존의 커널 밀도 추정(KDE)은 고차원에서 정확도가 떨어지고, 신경망 기반 스코어 매칭 모델은 분포가 바뀔 때마다 재학습이 필요하다는 단점이 있다.

DiScoFormer는 Transformer 아키텍처를 활용하여 단일 모델로 데이터의 **밀도(Density)**와 **스코어(Score)**를 동시에 추정한다. 이 모델은 다음과 같은 특징을 가진다.

• 공유 백본 구조: 밀도와 스코어의 수학적 관계(스코어는 로그 밀도의 그래디언트)를 활용하여, 하나의 백본과 두 개의 출력 헤드를 가진 구조를 채택했다.
• 일관성 손실(Consistency Loss) 활용: 밀도 헤드와 스코어 헤드 사이의 그래디언트 차이를 이용한 label-free consistency loss를 통해, 학습되지 않은 분포(Out-of-distribution)에 대해서도 즉각적인 적응이 가능하다.
• KDE의 일반화: Attention 메커니즘이 수학적으로 가우시안 커널의 일반화된 형태임을 이용하여, KDE의 장점과 신경망의 고차원 처리 능력을 결합했다.

연구진은 **Gaussian Mixture Models(GMM)**를 사용하여 모델을 학습시켰으며, 이를 통해 다양한 분포에 대해 정확한 타겟 값을 제공하며 범용성을 확보했다.