AI Briefing#transformer
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Commodore 64에서 2층 transformer를 6502 어셈블리로 구현했다.
Claude Mythos를 가정해 반복 실행형 Transformer로 구현한 오픈소스 프로젝트.
Parcae는 recurrence를 키워 770M로 1.3B Transformer급 성능을 냈다.
FlashLM v8.3(6.5M CORTEX)이 같은 2시간 CPU·같은 데이터 조건에서 v5.2 Transformer baseline을 앞섰다.
기업용 생성형 AI 도입 과정에서 발생하는 주요 과제들을 살펴보고, 이를 해결하여 운영 효율성을 달성하는 방법을 분석한다.
AI21 Labs의 Jamba 모델이 하이브리드 아키텍처를 통해 Transformer의 긴 문맥 처리 한계를 해결한다.
AI21이 Jamba의 256K 컨텍스트 윈도우를 활용한 해커톤을 개최하여 혁신적인 AI 활용 사례를 선보였다.
Nova 2.0 Lite 기준, LoRA는 o_proj만 붙여도 효율·정확도 균형이 가장 좋았다.
Transformer의 연산 효율을 극대화하는 MoE(Mixture of Experts) 구조의 원리와 장점을 설명한다.
Netflix는 audio·video·text를 결합한 MediaFM으로 샷 수준 콘텐츠 이해를 강화했다.