합성 prior로 300M 모델 언어 학습 성공

연구진이 TabPFN의 기반 개념인 prior-fitted networks를 자연어 처리로 확장하는 방법을 소개했다. 300M 파라미터 바이트 단위 transformer를 무작위로 샘플링된 재귀적 인과 모델에서 생성된 합성 시퀀스만으로 학습시켜, 실제 언어를 완전히 in-context로 예측하도록 했다.

성능 지표

동결된 가중치로 Wikipedia 텍스트를 테스트한 결과, 영어, 중국어, 힌디어, 아랍어, 일본어, 한국어 등 6개 언어에서 데이터 처리량이 늘수록 예측 정확도가 향상됐다. 약 100만 바이트의 언어 데이터를 읽은 후 오류율은 8 bits per byte에서 0.9–2.4 bits per byte로 감소했다.

기능 및 한계

이 모델은 텍스트 예측을 넘어 다음과 같은 emergent in-context learning 능력을 보인다.

• 숫자 세기 및 비교
• 근사 덧셈
• 소수나 Kolakoski sequence 같은 결정적 시퀀스 예측

이러한 능력에도 불구하고, 수조 개의 토큰으로 학습된 기존 언어 모델보다 효율성은 크게 떨어진다. 하지만 학습 중 실제 언어 데이터에 직접 노출되지 않은 합성 비언어적 prior만으로도 언어 구조 학습 능력이 발생할 수 있음을 시사한다.