Mesh LLM: iroh 기반의 분산 AI 컴퓨팅

Mesh LLM은 개별 기기(노트북, GPU 리그, 미니 PC, 서버 등)의 컴퓨팅 자원을 하나로 묶어 OpenAI 호환 API로 제공하는 분산 추론 프레임워크입니다.

이 시스템은 iroh 프로토콜을 사용하여 중앙 서버 없이 기기 간 직접적인 QUIC 연결을 형성하며, NAT 트래버설과 홀 펀칭을 통해 복잡한 네트워크 환경에서도 통신을 지원합니다.

주요 작동 방식은 다음과 같습니다:

• 로컬 실행: 현재 기기의 GPU를 직접 사용
• 라우팅: 모델이 이미 로드된 다른 피어(Peer)로 요청 전달
• 모델 분할(Split Mode): 단일 기기에서 실행 불가능한 거대 모델을 여러 기기에 레이어 단위로 나누어 실행하는 'Skippy' 기술 적용

Mesh LLM은 MCP, HTTP, inference 등을 통해 플러그인 아키텍처를 지원하며, 5억 파라미터 규모의 소형 모델부터 235B 파라미터 규모의 MoE 모델까지 40개 이상의 모델 카탈로그를 제공합니다.