Lumabri – Colibri를 이용한 P2P 스웜 기반 MoE 모델 실행

Lumabri는 Colibri 엔진을 통해 대규모 Mixture-of-Experts (MoE) 모델을 P2P 스웜(Swarm) 환경에서 분산 실행할 수 있게 지원한다.

핵심 메커니즘:

• 온디맨드 데이터 로딩: 모델을 사전에 전체 다운로드할 필요가 없다. 추론 시 실제로 접근하는 바이트만 피어(Peer)로부터 가져와 로컬 미러에 저장하며, 두 번째 호출부터는 로컬 디스크에서 고속으로 실행된다.
• 파일 시스템 인터셉트: liblumabri.so를 통해 libc 호출을 가로채는 LD_PRELOAD 셰임을 사용한다. 이를 통해 모델 파일이 실제 크기를 가진 희소(sparse) 로컬 미러처럼 동작하게 하며, 누락된 블록은 네트워크를 통해 즉시 보충한다.
• MoE 분산 처리: 실행 주체(Chatter)는 밀집 가중치, 라우터, KV 캐시만 보유한다. 각 전문가(Expert)를 가진 피어에게 4KB 크기의 활성화(Activation) 값만 전송하여 연산을 수행하며, 전문가 가중치는 실행 주체에 전달되지 않는다.

신뢰성 및 보안:

• 무결성 검증: 모든 데이터 블록은 SHA256으로 검증되며, ed25519 서명을 통해 피어의 데이터를 검증한다.
• 컴퓨팅 검증: 원격 컴퓨팅의 신뢰성을 위해 일정 비율의 호출을 다른 복제본에서 재실행하여 결과가 일치하는지 확인하는 방식을 사용한다.

이 엔진은 CPU와 GPU 환경 모두에서 동일한 출력을 보장하며, 네트워크 구성이 변경되더라도 데이터의 일관성을 유지한다.