Transformers에 Contrastive Search 도입

기존의 Greedy Search나 Beam Search와 같은 결정론적(Deterministic) 디코딩 방식은 텍스트 생성 시 동일한 문구가 반복되는 모델 퇴화(Model Degeneration) 문제를 빈번하게 일으킨다. 이를 해결하기 위해 무작위성을 도입한 Top-k나 Nucleus Sampling 같은 확률적(Stochastic) 방식이 사용되어 왔으나 여전히 한계가 존재한다.

Contrastive Search는 이러한 문제를 해결하여 인간 수준의 자연스러운 텍스트를 생성하는 최신 디코딩 기법이다. 별도의 추가 학습 없이 기존의 Off-the-shelf 언어 모델을 그대로 활용하면서도, 16개 언어에 걸쳐 뛰어난 성능을 입증했다.

해당 기능은 Hugging Face transformers 라이브러리에 공식 반영되어 PyTorch와 TensorFlow 환경에서 모두 사용할 수 있다.