뇌활동 예측 AI

TRIBE v2는 video, audio, language를 함께 다루는 tri-modal foundation model로, 다양한 자연환경과 실험 조건에서 인간의 뇌 활동을 예측한다.

• 1,000+시간 fMRI, 720명 데이터를 통합 학습해 새로운 자극, 과제, 피험자에 대해서도 높은 정확도를 보였다.
• 기존 linear encoding model보다 여러 배 개선된 성능을 제시했다.
• 모델 내부 표현을 활용해 in silico experimentation을 수행했고, 수십 년간 축적된 고전 신경과학 결과를 소프트웨어 안에서 재현했다.
• 해석 가능한 latent feature를 통해 multisensory integration의 미세한 topography도 드러냈다.
• 코드와 가중치가 GitHub와 Hugging Face에 공개됐다.

핵심은 자극-반응 관계를 하나의 모델로 묶어, 뇌과학 실험을 더 넓은 범위에서 시뮬레이션할 수 있게 만들었다는 점이다.