AI Briefing#deep-learning
#deep-learning와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#deep-learning와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Ilya Sutskever가 선정한 머신러닝 핵심 논문 30편을 초보자도 이해하기 쉽게 정리한 웹사이트입니다.
입력 데이터에 따라 압축 예산을 자동으로 조절하는 임계값 없는 KV Cache 압축 기술 ReFreeKV를 제안한다.
Meta가 비침습적 뇌파 측정(MEG)과 LLM을 결합해 실시간 문장 해독 성능을 높인 Brain2Qwerty v2를 공개했다.
GPU 메모리 효율을 높이기 위해 3개의 레이어 상태를 교차 관리하는 새로운 학습 기법을 제안한다.
모델 크기, 데이터 양, 연산량이 학습 손실(Loss)에 미치는 예측 가능한 관계인 스케일링 법칙을 분석한다.
Attention sinks와 Representation collapse가 Attention 자체의 문제가 아닌, Norm-blind한 유사도 측정 방식에서 기인함을 증명함.
시계열 모델링의 한계를 극복하기 위해 동역학적 시스템 재구성(DSR) 관점을 도입해야 한다는 연구 논문이 발표되었습니다.
PaddleOCR이 정확도와 속도를 대폭 개선한 신규 OCR 모델 시리즈 PP-OCRv6를 공개했습니다.
스탠퍼드 대학교가 트랜스포머 모델의 설계부터 학습, 평가까지 전 과정을 다루는 CS336 강의를 공개했다.
네트워크를 블록 단위로 나누어 독립적으로 학습함으로써 메모리 사용량을 획기적으로 줄이는 새로운 방식을 제안했다.
PyTorch 모델의 성능 병목을 파악하고 최적화하기 위한 torch.profiler 사용법을 다룬 가이드 시리즈의 첫 번째 글이다.
AI가 생성한 CUDA 커널이 정밀도 문제로 인해 실제 모델 학습 시 손실 함수를 발산시킬 수 있다는 연구 결과가 발표되었다.
기존 잔차 연결의 라우팅 붕괴 문제를 해결하여 LLM 성능을 높이는 Delta Attention Residuals가 공개되었다.
Token AI가 학습 안정성을 높이고 메모리 효율을 극대화한 새로운 옵티마이저 STAM을 발표했다.
초기 레이어의 표현을 토큰 및 헤드별로 선택적으로 재사용하여 효율성을 높인 SATFormer를 제안한다.