NVIDIA와 Ineffable Intelligence, 강화학습 인프라 공동 구축

NVIDIA와 Ineffable Intelligence가 대규모 강화학습(reinforcement learning) 인프라를 함께 설계한다. 런던 기반 AI 연구소인 Ineffable Intelligence는 AlphaGo를 설계한 **데이비드 실버(David Silver)**가 세웠고, 지난주 베일을 벗었다.

젠슨 황은 이를 'superlearners'를 위한 기반이라고 설명했다. 실버는 인간이 이미 아는 지식을 저장하는 문제는 상당 부분 풀렸지만, 이제는 시스템이 경험을 통해 새로운 지식을 발견하는 더 어려운 문제를 풀어야 한다고 말했다.

강화학습 파이프라인은 pretraining보다 훨씬 더 까다롭다.

• pretraining은 고정 데이터셋을 쓰는 방식이다.
• 강화학습은 에이전트가 행동, 관찰, 평가, 업데이트를 반복하며 데이터를 즉석에서 만든다.
• 이 과정은 interconnect, memory bandwidth, serving에 큰 압박을 주고, 새로운 모델 구조와 학습 알고리즘도 요구한다.

양사는 이런 요구를 감당할 파이프라인을 NVIDIA Grace Blackwell에서 먼저 실험하고, 곧 공개될 NVIDIA Vera Rubin 플랫폼도 초기 탐색 대상에 올린다. 목표는 시뮬레이션과 경험을 통해 스스로 지식을 만드는 모델을 대규모로 돌릴 하드웨어·소프트웨어 기반을 마련하는 것이다.