AI Briefing#language-modeling
#language-modeling와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#language-modeling와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Weighted state souping이 장문 컨텍스트 작업의 성능을 크게 향상시켰다
Causal Grassmann 레이어가 Wikitext-2에서 Transformer와 10-15% 이내 퍼플렉시티를 달성했다.
LIFT 아키텍처가 토큰 간 숨겨진 상태를 전달해 표준 Transformer보다 성능을 개선했다.
FFN을 제거해도 예산을 재배분하면 Transformer 성능 격차가 거의 사라졌다.
Diffusion 언어 모델은 병렬 생성이 가능하지만 긴 문맥과 배치 처리에서 한계를 보였다.
Gigatoken은 HuggingFace 토크나이저 대비 최대 1353배 빠른 속도를 제공하는 오픈소스 토크나이저다.
스탠퍼드 대학교가 트랜스포머 모델의 설계부터 학습, 평가까지 전 과정을 다루는 CS336 강의를 공개했다.
Parcae는 recurrence를 키워 770M로 1.3B Transformer급 성능을 냈다.
TensorFlow와 TPU를 활용해 RoBERTa 모델을 처음부터 학습시키는 엔드투엔드 과정을 안내한다.