16GB로 돌린 waifu

Gemma 4 E4B IT를 LLM으로 붙여, 어떤 언어든 가르쳐주는 AI waifu 앱을 만들었다.

음성은 직접 만든 Omnivoice TTS API를 FastAPI로 감싸 연결했고, 3D 모델은 VRoid Studio로 제작했다.

기능은 이미지 업로드, 웹 검색, 음성 통화, 영상 통화까지 포함하며, Grok Ani처럼 상호작용하는 형태를 목표로 했다.

구성도는 꽤 구체적이다.

• q4_k_m 양자화한 Gemma 4 E4B IT를 사용
• 64K 컨텍스트를 유지하면서도 16GB VRAM에 탑재
• flash-attention으로 메모리/속도 최적화
• TTS는 Whisper 없이 쓰면 약 4GB 수준으로 가볍게 운용 가능

직접 돌려본 체감으로는 모델이 프롬프트를 잘 따라왔고, 별도 uncensoring 없이도 동작했다고 한다. 다만 아직은 버그가 많아 오픈소스 공개 전 상태이며, 애니메이션의 jitter와 음성 입력 지연이 남아 있다.