LG AI Research: ICLR 2024 연구 요약

최근 AI 기술은 실제 문제를 해결하기 위해 학습 과정에서 보지 못한 데이터에 대해서도 합리적인 추론을 수행하는 일반화(Generalization) 능력이 핵심이 되고 있다. 이를 위해 방대한 데이터를 사전 학습한 **파운데이션 모델(Foundation Models)**이 널리 사용되고 있다.

LG AI Research는 ICLR 2024에서 파운데이션 모델의 발전 방향을 세 가지 관점으로 제시했다.

1. 해석 가능성(Interpretability): 모델이 왜 높은 일반화 성능을 보이는지 이론적·실험적으로 이해하는 연구이다. 특히 인과 추론(Causal Inference) 관점에서 모델이 인과 관계를 학습하여 데이터 분포 변화에도 강건한 성능을 내는 연구가 주목받고 있다.
2. 지속 가능성(Sustainable AI): 파운데이션 모델을 더욱 비용 효율적으로 만드는 방법에 대한 연구이다.
3. 안전성(Safe AI): 대규모 모델의 안전성을 확보하는 방법에 대한 연구이다.

특히 인과 모델은 데이터의 분포가 고정되어 있다고 가정하는 통계적 모델과 달리, 데이터 뒤에 숨겨진 **인과 시스템(Causal System)**을 학습함으로써 분포 변화에 더욱 강건한(Robust) 특성을 갖는다.