AI 자립을 향한 여정(23분 읽기)

GitHub Copilot이 사용량 기반 과금으로 바뀌면서, 무료·개인 요금제에서 누리던 넉넉한 토큰 할당이 사라졌다. 저자는 값싼 토큰이 결국 의존성을 만드는 보조금이라고 보고, 빅테크 API 의존을 줄이기 위해 로컬 inference 하드웨어를 사 모으기 시작했다.

현재 일상용 장비는 Ryzen AI Max+ (Strix Halo) 기반 머신이다. 최대 128GB unified memory 안에서 Qwen3.6-27B와 Gemma 4를 돌려 이메일·캘린더 요약, 회의 정리, TTS 같은 백그라운드 작업을 처리하고, 더 복잡한 에이전트 작업에는 구독 토큰을 남겨둔다.

추론의 병목은 모델이 메모리에 들어가느냐보다 throughput이다. memory capacity, memory bandwidth, raw compute 중 체감상 가장 중요한 것은 대역폭이며, 예를 들어 RTX 3070 8GB의 448 GB/s가 RTX 4060 Ti 8GB의 288 GB/s보다 추론에 유리할 수 있다. Apple M-series의 unified memory가 inference에 강한 이유도 여기에 있다.

긴 컨텍스트에서는 KV cache가 또 다른 부담이 된다. 200k tokens에서는 FlashAttention을 써도 캐시가 약 2GB까지 커지고, 최적화가 없으면 VRAM이 모델 가중치보다 먼저 찬다. Qwen3.6은 40개 레이어 중 10개만 full KV cache를 써서 4k → 65k로 늘어도 추가 VRAM이 약 800MB에 그친다.

에이전트 코딩과 auto-research는 tok/s에 매우 민감하다. 5 tok/s면 루프가 몇 초씩 멈춘 듯 느리고, 40 tok/s면 거의 즉각적으로 체감되며, 저자는 다음 구성에서 50 tok/s 안팎을 목표로 삼는다.

0xSero의 분석과 벤치마크를 바탕으로, 글은 약 $10k 상한의 로컬 inference 머신 옵션을 비교한다.

• Mac M3 Ultra: 512GB 유니파이드 메모리로 Kimi-K2, DeepSeek, MiniMax-M2를 극단적 양자화 없이 풀 컨텍스트에 가깝게 돌릴 수 있고, 최근 MLX가 성숙해져 유사 작업에서 RTX 3090 수준에 가까운 처리량을 보인다고 본다. 두 대를 묶으면 1TB까지 가능하지만, CUDA 생태계 호환성이 약해 fine-tune이나 train까지 노리기엔 아쉽다. 피크 소비전력은 약 400W 수준이다.
• 8× Nvidia RTX 3090: 이 구성은 완제품이 없고 직접 조립해야 하는 전형적인 파워유저용 워크스테이션이다. 서버급 메인보드, 섀시, 2,000W+ PSU, 256GB DDR5 같은 부품이 필요하며, 높은 처리량을 얻는 대신 구성과 유지보수 난도가 높다.