llama-swap matrix 기능 추가
PSA: llama-swap released a new grouping feature, matrix, allowing you to fine tune which models can run together
·2026.04.30 22:45
llama-swap이 모델 동시 실행 조합을 제어하는 matrix를 공개했다.
기존에는 모델이 하나의 그룹에만 속할 수 있었지만, 이제 matrix로 여러 실행 조합을 정의할 수 있다.
- 큰 모델은 단독으로 돌리고
- STT + 대형 모델은 함께 묶고
- RAG 용 조합도 따로 설정할 수 있다.
요청이 들어오면 solver가 현재 실행 중인 모델을 기준으로 가장 비용이 낮은 조합을 선택한다. 비용은 후보 조합 밖에 있는 실행 중 모델들의 evict_cost 합으로 계산되며, 동점이면 정의 순서가 우선한다.
[a, b, c]는 부분집합도 허용하는 subset semantics를 따른다. 요청된 모델만 시작하고 나머지는 미리 올리지 않는다. matrix와 legacy groups는 함께 쓸 수 없으며, 어떤 조합에도 포함되지 않은 모델은 단독 실행만 가능하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.