AI Briefing#llm-architecture
#llm-architecture와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-architecture와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple 연구진이 Pythia-1B를 Mamba 모델로 증류해 perplexity 14.01을 달성했다.
Qwen3.5-4B에 RISC-V CPU를 추가한 실험 모델 Qwenputer 공개, 합성 산술 벤치마크에서 97.5% 정확도 기록
Continuum Attention이 Focal Attention 대비 NLL을 0.0480 nats/byte 낮췄다
Aimee, Qwen 3.8과 Gemma4용 네이티브 메모리 플러그인 공개로 재학습 없이 지식 접근 가능하게 했다.
FactorEngram은 기저 수준 게이팅으로 340M 및 1B 백본의 언어 모델 성능을 개선했다.
Percepta가 지능과 메모리를 분리해 접근 비용 증가 없이 메모리를 확장하는 Spotlight 아키텍처를 공개했다.
토큰 수와 무관한 고정 크기의 이중 연상 메모리를 활용해 장문 컨텍스트를 처리하는 LLM 아키텍처 WarpState가 공개됐다.
하이퍼네트워크를 통해 실시간 상호작용 데이터를 가중치로 변환하고 베이지안 방식으로 온라인 업데이트하는 '무한 파라미터 LLM' 아키텍처가 제안되었다.
Llama, DeepSeek 등 주요 LLM 아키텍처를 가독성 중심으로 구현한 오픈소스 프로젝트 OpenArch가 공개됐다.
2019~2025년 사전학습 진보에서 데이터 개선이 모델 개선보다 3.24배 큰 컴퓨팅 효율성 향상을 제공했다.
ZEP이 단일 프롬프트의 한계를 극복하기 위해 LangGraph와 Amazon Bedrock AgentCore를 결합한 단계별 퀴즈 생성 아키텍처를 도입했다.
Thinking Machines가 Apache 2.0 라이선스로 첫 자체 개발 모델 Inkling을 공개했다.
지식 저장과 추론 과정을 분리하여 학습 효율과 추론 속도를 개선한 Mobius-v0 아키텍처를 제안한다.
O(1) 복잡도를 지향하는 새로운 희소 주의 집중(Sparse Attention) 아키텍처 DWARF의 베이스 모델이 공개되었습니다.
Qwen 팀이 어텐션 헤드 단위로 FA와 LA를 결합해 긴 문맥 처리 성능을 높인 HydraHead 아키텍처를 발표했다.
AI 에이전트의 신뢰성을 확보하기 위한 7가지 핵심 아키텍처 구성요소인 '하네스(Harness)'를 정의한다.
기존 LLA의 한계를 극복하고 FlashAttention과 대등한 성능을 보이는 Parallax 어텐션이 제안되었다.
추론 모델의 사고 과정과 최종 답변이 동일 연산에서 생성되기에, 사고 과정이 답변의 충실성을 보장할 수 없다는 주장이다.