현실 세계를 위한 AI: Yann LeCun과의 대화 (12분 읽기)

Yann LeCun은 오늘날의 LLM을 유용한 도구로 인정하면서도, 인간 수준 지능으로 가는 경로는 아니라고 본다. 4년 동안 깨어 있는 아이가 시각만으로도 대략 10^14 bytes를 받는다는 계산을 들며, 텍스트 학습만으로는 세계 경험의 규모를 따라갈 수 없다고 주장한다.

언어는 지능의 일부일 뿐이고, 진짜 핵심은 행동의 결과를 예측하는 능력이다. LLM은 코딩과 수학처럼 기호 조작이 곧 추론인 영역에서는 강하지만, 계획·상식·장기적 판단처럼 내부 세계 모델이 필요한 작업에는 구조적으로 약하다고 본다.

그의 대안은 JEPA(Joint Embedding Predictive Architecture) 기반 world model이다. 픽셀을 그대로 맞히는 대신 예측에 필요한 abstract representation만 학습해 다음 상태를 예측하고, 불확실한 디테일은 표현에서 제거한다. 그는 15년 넘게 이 방향을 밀었고, 처음 10년은 픽셀 단위 예측에 매달렸다가 실패했다고 말했다.

• reasoning은 정답을 한 번에 내놓는 것이 아니라 내부 모델을 탐색하는 search에 가깝다.
• chain-of-thought는 autoregressive 모델을 억지로 reasoning처럼 보이게 만드는 비효율적 우회로다.
• Superhuman Adaptable Intelligence는 AGI보다 더 정확한 표현이며, 훈련받지 않은 새 문제를 푸는 능력이 지능의 기준이다.

이 철학은 그의 새 회사 AMI Labs로 이어졌다. AMI는 산업 공정 제어, 자동화, 웨어러블, 로보틱스, 헬스케어처럼 물리 세계를 다루는 영역을 겨냥해, 다음 토큰이 아니라 다음 상태를 예측하는 범용 foundation model을 만들고 있다.

로보틱스에서는 데이터와 embodiment lock-in이 동시에 병목이다. 텔레오퍼레이션 데이터는 최고 품질이지만 병렬화가 어렵고, UMI 같은 hand-held gripper, wearable rigs, cross-embodiment datasets, simulation pipelines가 대안이지만 각각의 gap을 넘어야 한다. 반면 인터넷 영상은 규모가 크지만 행동 라벨이 없고, inverse dynamics와 latent action models가 이를 열어 가는 중이다.

비슷한 흐름으로 World Labs의 Marble, Google DeepMind의 Genie 3, 1X, GeneralistAI, NVIDIA Cosmos, Tesla도 각자의 방식으로 world model을 밀고 있다. 다만 AMI는 픽셀 생성보다 인과적으로 중요한 상태 표현을 중시한다는 점에서 차별화된다.

결국 언어는 계속 쓰이겠지만, 그것은 생각하는 시스템의 인터페이스일 뿐이라는 게 LeCun의 결론이다.