[ICLR 2024] Foundation Model 분야 최신 연구 동향 - LG AI Research BLOG

최근 인공지능 모델은 학습 데이터 너머의 데이터에서도 합리적으로 추론할 수 있는 일반화(Generalization) 능력이 핵심적인 가치로 평가받고 있습니다. 이에 따라 거대한 데이터로 선학습된 **Foundation Model(FM)**의 활용도가 급증하고 있습니다.

이번 ICLR 2024에서는 Foundation Model의 발전 방향을 세 가지 관점에서 다루고 있습니다.

1. Interpretability (해석 가능성): 모델이 왜 높은 일반화 성능을 갖는지에 대한 연구입니다. 특히 인과추론(Causal Inference) 관점에서 모델이 데이터 생성의 기저 시스템을 학습하고 있음을 증명한 연구가 주목받았습니다.

2. Efficiency (효율성): Foundation Model을 어떻게 하면 더 저렴하고 효율적으로 구축할 수 있는지에 대한 연구입니다.

3. Safety (안전성): 초거대 모델의 신뢰성과 안전성을 어떻게 보장할 것인가에 대한 연구입니다.

특히 LG AI Research는 인과적 모델(Causal Model)이 통계적 모델과 달리 데이터 분포 변화에 강건하다는 점에 주목하며, 인공지능 모델이 세상을 인과적으로 이해하고 있음을 밝힌 연구 등을 통해 기술적 한계를 극복해 나가고 있습니다.