AI Briefing#long-context
#long-context와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#long-context와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
HuggingFace가 3B 규모에서 뛰어난 성능과 128k 롱 컨텍스트를 지원하는 SmolLM3를 공개했다.
Qwen이 최대 100만 토큰의 컨텍스트 길이를 지원하는 오픈소스 모델 Qwen2.5-1M 시리즈를 출시했다.
AI21은 3년 현장 경험을 바탕으로 GenAI의 한계와 Jamba의 해법을 제시했다.
Infini-attention은 메모리 압축이 반복될수록 성능이 저하되며, 현재는 Ring Attention이나 YaRN 등이 더 효과적인 대안으로 확인되었다.
8k 컨텍스트 모델을 활용해 1M 컨텍스트를 처리하는 에이전트를 구축하고, 이를 통해 롱 컨텍스트 모델을 학습시키는 전략을 제시한다.