AI Briefing
EN로그인

Ternary Nemotron 30B-A3B, 12GB GPU에서 368K 컨텍스트 구동

boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF · Hugging Face

·2026.10.26 16:49

핵심 내용

1.58-bit MoE 모델이 12GB GPU에서 368K 컨텍스트를 지원한다.

자세히 보기

  • 30B-A3B MoE 모델을 1.58-bit 테르너 형식으로 양자화함
  • 12 GB GPU 하드웨어에서 368K 컨텍스트 윈도우 지원함
  • 디코드 172 tok/s, 프리필 7000+ tok/s 성능 달성함
  • Stock llama.cpp(b11555+, b11796) 및 PrismML 포크 / Bonsai(b10793)와 호환됨
llminferencequantizationggufmoellama.cppnemotron
원문 읽기Threads로 공유

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.

관련 추천

RedditDeepSeek-V4.1-Flash-1017, 12GB GPU에서 2.00 bpw로 100% 벤치마크 유지Redditllama.cpp, Domyn-Small-v1.0 지원 머지GeekNews크래프톤, 자체 개발 30B급 LLM 'Raon-1 mini' 프리뷰 오픈소스 공개TLDR AISparkLLM, 9B급 성능 갖춘 4B 온디바이스 모델 Spark-X2.6-4B 공개PyTorchKR 읽을거리Microsoft AI, 2.8T MoE 모델 'MAI-Base-2' 사전학습 레시피 공개HuggingFace BlogNVIDIA Nemotron 3.5 Embed 8B, ViDoRe v3.1에서 61.17 nDCG@10 기록