1930년의 13B 빈티지 언어 모델 Talkie

1931년 이전 영어 텍스트 260B 토큰으로 학습한 13B 언어 모델 Talkie가 공개됐다. 현대 세계를 모르는 상태에서 대화와 일반화 실험을 하도록 설계됐고, 같은 아키텍처의 현대 웹 학습 모델 talkie-web-13b-base도 함께 비교용으로 만들었다.

표준 언어모델 평가에서는 Talkie가 현대 모델보다 평균적으로 낮았지만, 시대착오적인 질문을 걸러내면 격차가 크게 줄었다. 특히 언어 이해와 수리 과제에서는 비슷한 수준이 확인됐고, 코드 일반화 실험인 HumanEval에서도 규모가 커질수록 성능이 천천히 개선됐다.

핵심 기여는 “과거 시점에 고정된” 평가 환경이다.

• 지식 컷오프 이후 놀라움을 측정해 미래 사건 예측과 새 아이디어 도달 가능성을 시험했다.
• 데이터 오염이 적은 환경이라 사전학습 일반화를 더 직접적으로 볼 수 있다.
• 1930년 이전 텍스트만 쓰도록 했지만, 실제로는 시간 누수가 남아 있어 Roosevelt, New Deal, 제2차 세계대전 관련 지식이 일부 섞였다.

데이터와 학습 파이프라인의 난제도 구체적으로 다뤘다.

• 책, 신문, 정기 간행물, 과학 저널, 특허, 판례를 모아 코퍼스를 만들었다.
• 1930년대 역사 문서는 OCR 품질이 낮아, 기존 OCR 전사본으로 학습하면 같은 컴퓨트 대비 사람 전사본 성능의 30% 수준에 그쳤다.
• 단순 regex 정제로 **70%**까지 회복됐지만 여전히 격차가 컸고, 이를 줄이기 위해 빈티지 OCR 재전사를 계획하고 있다.

후속 학습도 현대 instruction 데이터 없이 새로 구성했다.

• 예절서, 편지 작성 안내서, 요리책, 사전, 백과사전, 시집, 우화집 등에서 instruction-response 쌍을 만들었다.
• 합성 프롬프트로 요약, 직접 정보 요청, 다중 턴 대화를 만들고 Claude Sonnet 4.6을 심판으로 한 DPO를 적용했다.
• 별도 평가에서 instruction-following 평점이 5점 만점 2.0에서 3.4로 상승했다.
• 이어 Claude Opus 4.6과 Talkie의 rejection-sampled 대화로 한 번 더 SFT를 했다.

향후에는 영어 코퍼스를 더 키우고, 다국어로 확장하며, 누수 탐지와 OCR을 강화하고, 역사학자와 협업해 더 정교한 빈티지 포스트트레이닝 파이프라인을 만들 계획이다. 본문은 장기적으로 GPT-3 수준 모델까지 가는 로드맵도 제시했다.