트랜스포머 성능, 배치보다 메커니즘 다양성이 핵심

VIDRAFT AI Research 등의 연구팀이 발표한 논문 'Placement Is Free, Composition Is Not'은 트랜스포머 아키텍처 설계에서 메커니즘의 **배치(Placement)**보다 **구성(Composition)**이 성능에 결정적임을 실증했다.

핵심 발견

• 배치 효과 부재: 49층 모델에서 7가지 어텐션 메커니즘을 라틴 방진(Latin Square)으로 배치했을 때, 단순 순서 변경에 따른 성능 차이는 **+0.16%**로 통계적 유의성이 없었다. 이는 스택 순서 튜닝이 무의미함을 시사한다.
• 메커니즘 다양성의 중요성: 단일 메커니즘으로 통일했을 때 성능이 -1.68% 하락했으며, 특정 메커니즘에 집중 배치했을 때도 -0.59% 하락했다. 성능 개선의 주된 원인은 메커니즘의 다양성 확보였다.
• SSM의 기여: Leave-one-out 분석 결과, Mamba-2(SSM) 계열을 제거했을 때 성능이 **-2.14%**로 가장 크게 저하되었다. 어텐션 변종 간 차이보다 SSM 등 다른 계열의 메커니즘 도입이 성능에 더 크게 기여한다.

실험 및 모델 정보

• 모델: Aether 6.59B MoE (활성 파라미터 2.98B, 49층, 25 experts top-7)
• 실험 규모: 700M 및 1.5B 파라미터 규모에서 통제 실험 수행. 1.5B 규모로 확장 시 단일 메커니즘 사용 시 격차가 **+2.63%**로 확대되어, 용량 증가 시 이종 스택의 효율성이 더 커짐을 확인했다.
• 비용 분석: 컨텍스트 길이 32K 기준, sliding attention이 full attention 대비 약 1.8배 빠르며, 시스템 전체 처리 효율이 더 높다.

실무 시사점

1. 설계 전략: 스택 순서 최적화보다는 어텐션 변종 추가보다 SSM/선형순환 등 계열이 다른 메커니즘을 혼합하는 것이 성능 향상에 효과적이다.
2. 컨텍스트 길이 고려: 짧은 컨텍스트(2K)에서는 full attention이 빠르지만, 긴 컨텍스트(32K)에서는 sliding attention 기반 설계가 유리하다.
3. 재현성: 가중치, 소스 코드, 학습 로그, 중간 체크포인트가 Apache 2.0 라이선스로 공개되어 투명성을 확보했다.