NVIDIA, 로컬 AI 추론 라우터 'PAIR' 오픈소스 공개

NVIDIA가 가정 내 여러 컴퓨터를 연결해 로컬 AI 추론 요청을 자동으로 분배하는 오픈소스 도구 **Personal AI Router(PAIR)**를 공개했다. 이 도구는 Ollama와 LM Studio 등 호환 추론 엔진이 실행되는 노드들을 클러스터로 묶어, 엔진 가용성, 모델 가용성, 현재 워크로드를 기준으로 독립적인 요청을 가장 적합한 노드로 라우팅한다.

주요 기능 및 운영

• 자동 라우팅: 엔진 및 모델 가용성과 워크로드를 기준으로 요청을 노드 간에 분배한다.
• 엔진 관리: PAIR 내에서 Ollama 또는 LM Studio를 자동 다운로드 및 설정할 수 있으며, 기존 설치된 엔진도 연동 가능하다.
• 지원 환경: Windows 11, Linux, macOS(x64/arm64)를 지원하며, OS 간 노드 페어링이 가능하다. Windows ARM은 실험적이다.
• 설치 방식: 서명된 설치 파일(.exe, .deb, .dmg)을 제공하며, 데스크톱 환경이 없는 경우 터미널 인터페이스로 구동할 수 있다.

라이선스 및 보안

• 라이선스: Apache License 2.0을 따르며, GitHub 저장소(NVIDIA/Personal-AI-Router)에서 확인할 수 있다.
• 보안: PIN 기반 신뢰 부트스트랩과 LAN 디스커버리를 사용하며, 신뢰할 수 없는 네트워크 배포 전 보안 지침(SECURITY.md) 확인이 필요하다.