AI Briefing#sequence-modeling
#sequence-modeling와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#sequence-modeling와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Causal Grassmann 레이어가 Wikitext-2에서 Transformer와 10-15% 이내 퍼플렉시티를 달성했다.
Event2Vec이 비가환 기하 공간을 지원해 시퀀스 순서를 보존하는 이벤트 임베딩을 구현했다.
OpenEuroLLM이 Kimi Delta Attention의 게이트와 계수 범위를 확장해 2D 회전을 구현하는 Complex KDA를 공개했다.
Airbnb가 게스트의 장기적인 행동 패턴을 학습하여 최적의 숙소를 추천하는 Transformer 기반 시퀀스 모델을 구축했다.
Decision Transformer는 강화학습 문제를 시퀀스 모델링 문제로 변환하여 Transformer 구조를 통해 안정적인 정책 학습을 구현한다.
Hugging Face가 오프라인 강화학습 모델인 Decision Transformer를 transformers 라이브러리에 통합했다.