AI Briefing#transformer
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#transformer와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
언어 모델의 암기(Memorization)와 일반화(Generalization)를 분리하여 모델의 용량을 측정하는 새로운 방법론을 제시한다.
소형 언어 모델에서 발생하는 임베딩 응집 현상을 해결하기 위한 새로운 학습 목적 함수를 제안한다.
RL 학습 시 특정 중간 레이어만 학습시켜도 전체 파라미터 학습과 유사한 성능을 낼 수 있음을 발견했다.
강화 학습을 통해 Diffusion LLM의 토큰 선택(Unmasking) 효율성을 극대화하는 새로운 정책 학습 방법을 제안한다.
Transformer의 FFN을 Self-Attention과 분리하여 컨텍스트 프리 토큰 단위의 신경망 검색 메모리로 활용하는 MemoryLLM을 제안한다.
Google DeepMind가 Transformer 모델의 내부 작동 원리를 분석하기 위한 Tracr 프레임워크를 공개했다.
데이터의 밀도(Density)와 스코어(Score)를 재학습 없이 한 번의 연산으로 추정하는 DiScoFormer를 공개했다.
Attention sinks와 Representation collapse가 Attention 자체의 문제가 아닌, Norm-blind한 유사도 측정 방식에서 기인함을 증명함.
Nvidia가 Transformer 논문 공동 저자인 Ashish Vaswani와 Essential AI 팀을 인력 인수했다.
입력 텍스트의 내용에 따라 LLM의 내부 hidden state가 변화하며 답변의 성향을 바꾼다는 연구 결과가 발표됨.
알리바바가 출시한 HappyHorse 1.1이 벤치마크에서 상위권을 기록하며 AI 비디오 시장의 새로운 강자로 부상했다.
소프트웨어 API와 문서가 AI 에이전트의 작업 효율에 미치는 영향을 측정하는 새로운 벤치마킹 방법론을 소개한다.
Microsoft Research가 차세대 잠재 상태를 예측하여 추론과 계획 능력을 높인 NextLat를 발표했다.
Transformer의 Attention 메커니즘이 정보 처리 과정에서 실행 제어 능력이 부족함을 입증한 연구 결과입니다.
LLM 에이전트의 상태 관리, 아키텍처 최적화, 동적 환경에서의 안전성을 다루는 최신 AI/ML 논문 10편을 소개한다.
Transformer가 RNN이나 유한 오토마타보다 언어를 훨씬 더 간결하게 표현할 수 있음을 이론적으로 증명했다.
Transformer의 QKV 프로젝션을 공유하여 KV 캐시를 획기적으로 줄이는 연구 결과를 발표했다.
팔면체 매개변수화와 결합 양자화를 통해 트랜스포머의 KV Cache 압축 성능을 극대화한 OCTOPUS가 공개되었다.
금융 기관들이 파편화된 모델 대신 트랜잭션 데이터를 통합 학습하는 파운데이션 모델을 통해 고도화된 금융 지능을 구축하고 있다.