K-Means와 RBF 동등성 제시
K-Means as a Radial Basis function Network: a Variational and Gradient-based Equivalence [R]
·2026.05.04 03:36
RBF Network와 K-Means의 변분·Gradient 동등성을 제시했다.
RBF Network의 책임도(responsibility)를 엔트로피 정규화로 정의해 K-Means와 같은 변분 구조로 다시 썼다.
- simplex 위에서 책임도를 최적화하면 Softmax 해가 정확히 나온다.
- σ→0 극한에서는 책임도가 최근접 centroid에 몰리며, 목적함수는 Γ-convergence로 K-Means distortion에 수렴한다.
- gradient 기반 center update가 특정 조건에서 K-Means의 평균 centroid 업데이트를 복원한다고 주장한다.
- 저온 구간의 수치 불안정을 줄이기 위해 Entmax-1.5를 제안한다.
- synthetic geometry 실험에서는 soft RBF centroid가 K-Means fixed point로 단조 수렴하는 경향을 확인했다.
요약하면, K-Means를 별도 단계의 분리된 클러스터링이 아니라 end-to-end differentiable clustering의 저온 한계로 해석한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.