Ollama 멀티 머신 라우팅 도구 Stoke 공개
Title: Stoke: Route Ollama across multiple machines with warm-node placement, budget caps, and loop detection
·2026.07.21 05:44
여러 대의 머신에서 실행되는 Ollama 인스턴스 간의 효율적인 라우팅과 관리를 지원하는 오픈소스 도구 Stoke가 출시되었습니다.
Ollama를 여러 머신에서 운영할 때, 요청을 자동으로 분산하고 관리할 수 있는 Stoke가 공개되었습니다. 이 도구는 5.5 MB 크기의 Rust 바이너리로, 별도의 런타임 의존성 없이 작동합니다.
주요 기능은 다음과 같습니다:
- 노드 인식 라우팅: 각 노드의
/api/tags및/api/ps를 폴링하여 모델이 로드된 Warm Node를 우선적으로 선택하고, 실패 시 자동으로 페일오버를 수행합니다. - 연합(Federation) 기능: 각 머신에 Stoke를 실행하고 단일 네트워크 접점(Auth 포함)을 통해 여러 Ollama 인스턴스를 통합 관리할 수 있습니다.
- 예산 제한(Budget Caps): 클라우드 제공업체를 추가할 경우를 대비해 API 키별 USD 지출 한도를 설정할 수 있습니다.
- 루프 탐지(Loop Detection): 에이전트가 동일하거나 유사한 요청을 반복하는 재시도 루프에 빠지는 것을 방지합니다.
- 자동 라우팅 및 Hedged Dispatch: 비용, 지연 시간, 선호도를 기반으로 최적의 모델과 노드를 선택하며, 유휴 머신에 작은 프롬프트를 동시에 보내 먼저 응답하는 머신의 결과를 사용하는 기능을 지원합니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.