AI Briefing
EN로그인

llama.cpp, Flint 모델 지원

models: Add Flint model (FlintForCausalLM) by alexey-rsi · Pull Request #30928 · ggml-org/llama.cpp

·2026.10.22 06:29

핵심 내용

39.8B 파라미터의 Recursive Flint 모델이 llama.cpp에 추가됐다

자세히 보기

  • Recursive의 Flint 모델(FlintForCausalLM)이 Pull Request #30928 병합을 통해 llama.cpp에서 지원됨
  • 39.8B 총 파라미터를 가진 디코더 전용 mixture-of-experts Transformer로, 토큰당 약 2.5B 활성 파라미터 사용
  • 49개 레이어 구조로, 2개 dense 레이어 후 47개 MoE 레이어 구성, 각 MoE 레이어당 256개 라우팅 전문가(토큰당 6개 선택) 및 항상 활성화되는 공유 전문가 포함
  • 35개 슬라이딩 윈도우 레이어(513 토큰 윈도우)와 14개 전체 어텐션 레이어 사용, 32개 쿼리 헤드 및 4개 키/밸류 헤드 구성
  • 프롬프트 및 생성 출력 포함 262,144 토큰 컨텍스트 지원
  • 어휘 크기 150,144 토큰, 지식 컷오프 2026년 6월 명시
inferencemodel-releasellama.cppmixture-of-expertsrecursiveflint
원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.

관련 추천

RedditFLE Studio, llama.cpp 로컬 추론용 인터페이스 출시Hacker NewsKrea, Nano Banana Pro 대비 10배 빠른 이미지 편집 모델 'Krea 3' 출시RedditAbliteratedOutTheBox, 추론 중 LLM 안전 필터 실시간 제거HuggingFace BlogNVIDIA Kumo Relational, SAP SALT에서 AutoGluon보다 MRR 8% 우위NVIDIA BlogNVIDIA, GTC Berlin서 로컬 AI 하드웨어 공개… Recursive Flint 모델 출시TLDR AISparkLLM, 9B급 성능 갖춘 4B 온디바이스 모델 Spark-X2.6-4B 공개