Transformer Attention에서의 결여된 실행 제어(Executive Control)

Transformer 모델의 핵심인 Attention 메커니즘이 정보를 선택하고 집중하는 과정에서 고차원적인 실행 제어(Executive Control) 능력이 결여되어 있다는 연구 결과가 발표되었습니다.

연구에 따르면, Transformer는 입력 데이터의 통계적 패턴을 학습하는 데는 뛰어나지만, 복잡한 추론이나 논리적 단계가 필요한 작업에서 정보를 전략적으로 필터링하고 관리하는 능력이 제한적입니다.

주요 발견 사항은 다음과 같습니다:

• Attention 메커니즘이 특정 토큰에 과도하게 집중하거나, 불필요한 정보에 주의를 분산시키는 경향이 있음
• 복잡한 인지적 제어가 필요한 작업에서 모델의 성능이 급격히 저하됨
• 이는 모델이 단순한 패턴 매칭을 넘어 논리적 추론 엔진으로 기능하기 위해 해결해야 할 핵심 과제임