1931년 이전 데이터 학습 13B 모델 Talkie

1931년 이전의 역사적 텍스트로만 학습되어 데이터 오염 없이 일반화 능력을 테스트할 수 있는 13B 규모의 '빈티지' 언어 모델 Talkie가 공개되었다.

Talkie는 1931년 이전의 텍스트 데이터만을 사용하여 학습된 13B 규모의 언어 모델이다. 현대의 지식이나 가치관이 배제된 '빈티지' 모델로서, AI의 지식 범위와 예측 능력을 연구하는 데 목적이 있다.

주요 특징 및 연구 내용:

미래 예측 및 지식 분석: 1931년 이후의 역사적 사건들에 대한 모델의 '놀라움(surprisingness)'을 측정하여, 지식 컷오프 이후의 사건을 얼마나 예측하기 어려워하는지 분석한다.
데이터 오염(Contamination) 해결: 현대의 웹 데이터나 코드가 포함되지 않아, 디지털 컴퓨터에 대한 지식이 없는 상태에서 Python과 같은 현대 언어를 학습할 수 있는지와 같은 순수한 일반화 실험이 가능하다.
코딩 능력 실험: 현대 모델에 비해 성능은 낮지만, 인컨텍스트 학습(In-context learning)을 통해 간단한 로직을 구현하는 등 모델 규모가 커짐에 따라 코딩 능력이 점진적으로 향상되는 양상을 보인다.

이 모델은 모델 크기에 따른 예측 성능 변화와 스케일링 법칙을 이해하는 중요한 연구 도구가 될 것으로 기대된다.