8GB 한계 돌파

장애가 있는 남편의 고립감을 줄이기 위해, 완전 로컬·오프라인 동반 로봇을 만드는 개인 프로젝트가 소개됐다.

구성은 다음과 같다.

• LLM: Mistral-7B-Instruct via llama.cpp
• 추론용 PC: 8GB RAM의 구형 Lenovo ThinkPad
• 음성 인식: Jetson Nano의 faster-whisper (base, INT8)
• TTS: Piper (en_us-ryan-medium)
• OS: Linux Mint 22.3 Cinnamon 64-bit

핵심 병목은 8GB RAM이라, 작은 양자화 모델과 메모리 절약이 필수라는 점이다. 질문은 llama.cpp에서 usable RAM과 성능을 최대한 끌어올리는 방법이었다.

댓글에서는 실전형 조언이 많이 모였다.

• Gemma 4 또는 Qwen 3.5 같은 더 작은 최신 모델로 교체
• -c 2048 또는 -c 4096처럼 context window를 강하게 제한
• XFCE 같은 경량 데스크톱이나 headless 운영으로 OS 메모리 절감
• 가능하면 SSD/NVMe 사용
• 메모리 부족 문제를 줄이기 위한 swap/zram 활용
• TTS는 Kokoro, 프런트엔드는 KoboldCPP/SillyTavern/LettuceAI 같은 대안도 거론

또한 일부 댓글은 모델 선택보다 인터랙션 품질이 더 중요하다고 짚었다. 말하는 중 끊기기, 스트리밍 출력과 TTS 동시화, 장기 기억(RAG/메모리 파일) 설계가 실제 체감 품질을 좌우한다는 것이다.

전반적으로, 저사양 장비로 오프라인 음성 동반 시스템을 만드는 구체적인 설계 팁과 모델 추천이 오간 실전 사례다.