RTX부터 Spark까지: NVIDIA가 Gemma 4를 로컬 에이전틱 AI용으로 가속

Gemma 4는 클라우드가 아닌 기기 안에서 실시간 문맥을 활용하는 로컬 AI 흐름에 맞춰 설계된 Google의 최신 오픈 모델군이다. NVIDIA와 Google은 이를 NVIDIA GPU 전반에 맞게 최적화해, 데이터센터부터 RTX PC, DGX Spark, Jetson Orin Nano까지 폭넓게 돌릴 수 있게 했다.

모델군은 E2B, E4B, 26B, 31B로 구성되며, 용도에 따라 역할이 나뉜다.

• E2B / E4B: 엣지에서의 초저지연 추론과 완전 오프라인 실행에 초점
• 26B / 31B: 고성능 추론과 개발자 중심 워크플로, 에이전틱 AI에 적합
• 지원 기능: reasoning, coding, function calling, vision/video/audio, interleaved multimodal input, 35+ 언어 지원

성능 비교는 Q4_K_M quantization, BS=1, ISL=4096, OSL=128 조건에서 GeForce RTX 5090과 Mac M3 Ultra 데스크톱을 기준으로 측정됐다. 토큰 생성 처리량은 llama.cpp b7789의 llama-bench 도구로 측정했다.

로컬 배포는 Ollama, llama.cpp, Unsloth가 함께 지원한다. NVIDIA는 Tensor Core와 CUDA 스택이 추론 처리량과 지연시간을 개선해, 추가 최적화 부담 없이 Gemma 4를 엣지에서 고성능 PC까지 확장 가능하다고 강조한다.

또한 OpenClaw를 활용한 항상 켜진 로컬 에이전트, NemoClaw, Accomplish FREE 같은 RTX AI PC 생태계 사례도 함께 언급하며, 오픈 모델 기반 로컬 에이전틱 AI가 빠르게 커지고 있음을 보여준다.