Qwen3.8-27B 262K 컨텍스트 메모리 분석

Qwen3.8-27B 모델의 모델 카드를 분석한 결과, 토큰당 64 KiB의 KV 캐시 비용이 발생함을 확인했다. 이는 262,144(262K)의 네이티브 컨텍스트를 사용할 경우 가중치 외에 16 GiB의 추가 메모리가 필요함을 의미한다.

주요 기술적 특징 및 하드웨어별 요구 사항은 다음과 같다:

• 하이브리드 아키텍처: 64개 레이어 중 16개는 Full Attention을, 48개는 DeltaNet을 사용한다. DeltaNet 레이어는 고정된 재귀 상태(약 72 MiB)를 유지하므로 컨텍스트 길이에 따라 메모리가 증가하지 않는다.
• 메모리 요구량 및 하드웨어 가용성:
  • 16GB GPU: 모델 가중치 탑재 시 추가 컨텍스트를 위한 여유 공간이 거의 없음.
  • 24GB GPU: f16 KV 기준 약 100K, q8 KV 기준 약 180K 컨텍스트 사용 가능.
  • 32GB GPU: q8 KV 기준 전체 262K 컨텍스트 수용 가능.
  • 80GB GPU: FP8 가중치와 전체 컨텍스트를 사용하면서도 배칭(Batching)을 위한 여유 공간 확보 가능.

이 모델의 하이브리드 DeltaNet 레이아웃은 Full Attention 대비 약 4배의 캐시 절감 효과를 제공하며, 이는 메모리 병목 현상을 해결하는 핵심 요소로 작용한다.