1930년 이전 학습 LLM 공개

Talkie-1930은 1931년 1월 1일 이전에 출판된 텍스트만으로 학습한 13B open-weight LLM이다. 훈련 코퍼스는 2600억 토큰 규모이며, 시점 고정으로 현대 벤치마크 오염을 원천 차단한다.

비영리 팀은 base와 instruction-tuned 체크포인트를 Apache 2.0으로 공개했다. 데모는 talkie-lm.com/chat에서 운영되며, Claude Sonnet 4.6이 24시간 모델을 프롬프트해 공개 시연을 진행한다.

• 연구팀은 cutoff 이후 역사적 사건에 대한 모델의 '놀라움'을 측정했고, 반응은 1950~60년대에서 가장 크게 나타났다고 밝혔다.
• 히틀러 질문에는 1930년대식 정치 분석이, 'thinking machines' 질문에는 원격 업무와 보편 언어에 대한 예측이 나왔지만, 컴퓨터·암호화폐·AI·인터넷 문화 같은 현대 개념은 알지 못했다.
• 팀은 2026년 여름까지 GPT-3급 모델을 목표로 하며, 코퍼스를 1조 토큰 이상으로 키울 수 있다고 보고 있다.