llama-swap matrix 기능 추가
PSA: llama-swap released a new grouping feature, matrix, allowing you to fine tune which models can run together
·2026.04.30 22:45
핵심 내용
llama-swap이 모델 동시 실행 조합을 제어하는 matrix를 공개했다.
자세히 보기
기존에는 모델이 하나의 그룹에만 속할 수 있었지만, 이제 matrix로 여러 실행 조합을 정의할 수 있다.
- 큰 모델은 단독으로 돌리고
- STT + 대형 모델은 함께 묶고
- RAG 용 조합도 따로 설정할 수 있다.
요청이 들어오면 solver가 현재 실행 중인 모델을 기준으로 가장 비용이 낮은 조합을 선택한다. 비용은 후보 조합 밖에 있는 실행 중 모델들의 evict_cost 합으로 계산되며, 동점이면 정의 순서가 우선한다.
[a, b, c]는 부분집합도 허용하는 subset semantics를 따른다. 요청된 모델만 시작하고 나머지는 미리 올리지 않는다. matrix와 legacy groups는 함께 쓸 수 없으며, 어떤 조합에도 포함되지 않은 모델은 단독 실행만 가능하다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.