RWKV: Transformer와 RNN의 결합

RWKV는 **RNN(Recurrent Neural Network)**의 효율성과 Transformer의 성능을 결합한 새로운 아키텍처로, Hugging Face transformers 라이브러리에 통합되었다.

기존 RNN은 이전 상태(state)를 기반으로 데이터를 처리하여 연산 효율은 높지만, 기울기 소실(vanishing gradient) 문제로 인해 장기 의존성 학습에 한계가 있다. 반면 Transformer는 셀프 어텐션(self-attention)을 통해 이를 해결하고 병렬 처리를 가능하게 했으나, 시퀀스 길이에 따른 연산 복잡도가 높다는 단점이 있다.

RWKV는 RNN의 선형적 연산 방식과 Transformer의 강력한 성능 및 확장성을 동시에 제공하도록 설계되었다.