Talkie, 1931년 이전 학습

Talkie는 Alec Radford, Nick Levine, David Duvenaud가 공개한 13B LLM이다.

학습 코퍼스는 1930년 12월 31일 이전에 출판된 텍스트로만 제한됐다. 인터넷, Wikipedia, 현대 사건을 배제해 현대 웹 문서에 기대지 않는 분포를 만들었다.

핵심 실험 구성은 다음과 같다.

• Claude Sonnet 4.6: 온라인 DPO 파이프라인의 평가자
• Claude Opus 4.6: 최종 미세조정용 합성 멀티턴 대화 생성
• 팀은 이런 현대 LLM 사용을 데이터 오염 위험으로 보고, 후속 버전에서 제거하겠다고 밝혔다.

현대 코드가 전혀 없는 상태에서도 19세기 수학 텍스트와 몇 개의 문맥 내 예시만으로 Python 코드를 작성하는 모습을 보였고, 연구 초점은 메모리제이션과 일반화의 경계를 가르는 데 있다. 활용 질문은 장기 예측, 미래 발명, LLM 정체성처럼 현대 웹 데이터 밖에서도 모델이 무엇을 배울 수 있는지에 맞춰져 있다.