AI BriefingNVIDIA, 하드웨어 기반 LLM 압축 프레임워크 AutoCompress 공개
·2026.11.10 09:00
핵심 내용
NVIDIA AutoCompress가 Nemotron 3.5 Super를 74B로 압축하며 성능 95% 유지했다
자세히 보기
- AutoCompress는 지연 시간, 처리량, 메모리 제약을 가변적 아키텍처 탐색에 직접 반영하는 하드웨어 기반 압축 프레임워크임
- RTX 5070, RTX 5080, H100 GPU에서 8개 벤치마크 평균 정확도 기준 Minitron 프루닝 프레임워크보다 각각 6.57, 2.35, 0.57%p 우위 기록함
- Nemotron 3.5 Super를 120B에서 74B 파라미터로 압축하여 단일 B200 BF16 서빙(128K 컨텍스트) 환경에서 원 모델 평균 벤치마크 점수의 95% 유지함
- 기존 워크플로우가 파라미터 수를 목표로 하는 것과 달리, 서빙 엔진 비용 모델을 기반으로 전역 및 레이어별 구조를 공동 최적화하여 이질적 아키텍처 생성함
- 평가 대상은 롱 컨텍스트 로컬 코딩, 배치형 데이터센터 서빙, 지연 시간 민감형 인게임 인터랙션 워크로드 포함함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.