LLM은 이제 복잡해졌다

과거 Llama와 같은 초기 LLM은 반복적인 Transformer 모듈로 구성된 단순한 구조였으나, 현대의 모델들은 매우 복잡한 양상을 띠고 있다.

최신 모델들은 Attention 메커니즘의 다양한 변형(Query grouping, Sparse, Sliding-window 등)을 사용하며, **Mixture-of-Experts(MoE)**를 통해 피드포워드 레이어뿐만 아니라 어텐션 블록과 잔차 연결(Residual stream)까지 라우팅하는 단계에 이르렀다. 또한 비전 및 오디오 인코더가 모델에 통합되고, 멀티 GPU 추론을 위한 통신 연산이 추가되면서 구조적 복잡성이 극대화되었다.

이러한 복잡성은 과거 추천 시스템(Recsys)이 겪었던 문제와 유사하다. 성능 최적화가 단순한 선택 사항이 아닌 필수 요소가 되면서, 모델의 성능 향상이 곧 시스템의 생존과 직결되기 때문이다.

따라서 연구의 반복 속도를 높이기 위해서는 단순히 최적화된 커널을 생성하는 에이전트에 의존하기보다, 설계 단계부터 **Composability(조립 가능성)**를 고려해야 한다. PyTorch의 FlexAttention처럼 성능 저하를 최소화하면서도 다양한 연산을 유연하게 실험할 수 있는 구조를 갖추는 것이 현대 AI 연구의 핵심 과제다.