AI Briefing#transformer
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
NVIDIA Kumo Forecast가 DARR 모드로 시계열 예측에 과거 패턴 검색을 결합했다
FactorEngram은 기저 수준 게이팅으로 340M 및 1B 백본의 언어 모델 성능을 개선했다.
Yandex Music의 단일 모델 Sona가 A/B 테스트에서 활성 사용자 4.53%, 청취 시간 6.30% 증가를 기록했다.
LLM 컨텍스트 윈도우는 단일 요청 처리 가능한 토큰 총량이지만, 긴 입력일수록 중간 정보 인출률이 떨어지는 'Lost in the Middle' 현상이 발생하므로 선별적 관리가 중요하다.
새로운 연구는 트랜스포머 스택에서 어텐션 메커니즘의 배치 순서보다 다양한 메커니즘의 조합(특히 SSM 포함)이 성능에 더 큰 영향을 미친다고 입증했다.
토큰 생성 시 순환 경로가 길어져 연산량이 증가하는 RLT 구조와 예비 실험 결과가 공개됐다.
StepAudio 3 Gen이 RVQ 토큰 기반 디스크리트 생성 아키텍처로 TTS와 멀티모달 오디오 생성에서 SOTA를 달성했다.
Anthropic 연구팀이 2층 Attention-only Transformer에서 Induction Heads가 In-context Learning을 수행하는 핵심 메커니즘임을 입증하는 수학적 프레임워크를 공개했다.
Apple이 다단계 학습 없이 데이터 공간에서 직접 학습하는 단백질 설계 모델 SimpleDesign을 공개했다.
TF-IDF의 한계를 넘어 dense vector와 transformer 기반의 의도 인식 기술이 LLM 에이전트의 정확성을 높인다.
Extropic은 Z1과 FPGA를 결합한 Z1T 설계를 공개하고, 최종 logits 연산 등을 제외한 조건에서 에너지 효율과 디코딩 처리량을 추정했다.
비전 타워 없이 텍스트와 이미지를 단일 Transformer로 처리하는 다국어 멀티모달 인코더 NeoMME가 공개됐다.
5090 GPU에서 1.5시간 만에 학습된 소형 Transformer가 ARC-AGI 44%를 달성하며 LLM의 낮은 샘플 효율성을 비판했다.
소형 트랜스포머를 1.5시간 동안 학습해 ARC-AGI-1 벤치마크에서 44%의 성능을 67센트 비용으로 달성했다.
구글이 3300억 파라미터 기반의 다변량 시계열 예측 파운데이션 모델 TimesFM-3를 공개했다.
Apple이 LLM과 정규화 흐름을 결합해 텍스트와 이미지를 통합 생성하는 STARFlow2를 공개했다.
Microsoft가 모델의 수직적 피드백 채널을 확장해 학습 효율과 성능을 높인 Full-bandwidth Transformer를 제안했다.
FFN을 제거해도 예산을 재배분하면 Transformer 성능 격차가 거의 사라졌다.
Malachyte는 LLM의 attention 기반 모델과 Google Cloud 인프라로 리테일 추천의 콜드스타트 문제를 풀었다.
Lophius가 Jupyter와 Transformers 기반 언어 모델 연구 작업을 간소화하는 도구로 공개됐다.
Meta가 오프라인 사용자 모델링과 온라인 랭킹을 분리한 시퀀스 학습 플랫폼을 개발했다.