#pythia와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
고정 Pythia-70M에 forward-derived fast memory를 얹어 one-shot symbolic recall을 시도했다.
‘uncensored’ 모델도 금지어 확률을 스스로 낮추는 flinch가 있다.
KV cache INT4가 일부 모델에서 무너지는 원인을 찾고 4줄짜리 보정으로 개선했다.