Reformer: 50만 토큰 처리 트랜스포머

Reformer는 기존 BERT 모델(512 토큰 제한)의 한계를 넘어, 최대 50만 개의 토큰을 한 번에 처리할 수 있도록 설계된 메모리 효율적인 트랜스포머 모델이다. 이 모델은 8GB 미만의 RAM만으로도 긴 시퀀스 학습이 가능하다.

주요 혁신 기술은 다음과 같다:

• Reformer Self-Attention Layer: LSH(Locality Sensitive Hashing)를 사용하여 효율적인 셀프 어텐션 구현.
• Chunked Feed Forward Layers: 대규모 피드 포워드 레이어의 시간-메모리 트레이드오프 최적화.
• Reversible Residual Layers: 스마트한 잔차 구조를 통해 학습 시 메모리 소비를 획기적으로 절감.
• Axial Positional Encodings: 매우 긴 입력 시퀀스에서도 사용 가능한 위치 인코딩 방식.

이러한 구조적 개선을 통해 요약, 질의응답 등 긴 문맥 처리가 필수적인 NLP 작업에서 기존 모델보다 뛰어난 성능을 보인다.