Transformer 시대는 끝나는가?

Transformer 모델은 긴 문맥을 처리할 때 메모리 사용량 급증과 처리 속도 저하라는 문제를 겪는다. 어텐션(Attention) 메커니즘이 시퀀스 길이에 따라 제곱으로 늘어나는 특성 때문에, 긴 보고서나 계약서를 분석할 때 막대한 컴퓨팅 자원이 소모된다.

AI21 Labs의 Jamba 모델은 하이브리드 아키텍처를 통해 이 문제를 해결한다. Jamba는 Transformer 레이어와 Mamba(Structured State-Space model) 레이어, 그리고 Mixture-of-Experts (MoE) 모듈을 결합했다.

MoE는 각 단계에서 최적의 전문가만을 사용하여 계산 시간을 단축하며, Mamba 기반의 순차적 처리 방식은 텍스트 길이에 따른 성능 저하를 막는다.

주요 장점은 다음과 같다:

• 높은 처리량: 긴 문서나 트랜스크립트도 빠르게 처리한다.
• 메모리 효율성: 전체 시퀀스를 저장하는 대신 압축된 내부 상태를 사용하여 메모리 부담을 줄인다.
• 비용 절감: 추론 시 일부 파라미터만 활용하여 경제적이다.