Joint Embedding 변분베이즈

VJE(Variational Joint Embedding)는 재구성 없이 paired encoder embeddings에 대해 symmetric conditional ELBO를 최대화하는 비대조 자기지도 학습 프레임워크다.

타깃 표현에 직접 conditional likelihood를 정의하고, Student-t 분포를 polar representation에 적용해 표현 공간의 불확실성을 다룬다.

• directional 항은 단위 구면에서 각도 일치만 모델링한다.
• radial 항은 임베딩 크기 일치를 분리해 다룬다.
• 이 분해는 norm-induced pathology를 완화하고, directional factor에 대해 유효한 variational bound를 제공한다.

추론 쪽에서는 diagonal Gaussian posterior를 쓰는 amortized inference network가 feature-wise variance를 directional likelihood와 공유해, 별도 projection head 없이 anisotropic uncertainty를 표현한다.

ImageNet-1K, CIFAR-10/100, STL-10에서 linear probe와 k-NN 평가 기준으로 표준 non-contrastive baseline과 경쟁적 성능을 보였고, representation-space likelihood를 활용한 OOD detection에서도 강한 결과를 냈다.

정리하면, 이 방법은 표현 학습을 확률모형으로 다시 구성하면서도 표현 공간에서 불확실성 해석과 다운스트림 OOD 활용 가능성을 함께 제시한 TMLR 2026 논문이다.