Darkbloom – 유휴 Mac에서의 Private inference

Eigen Labs가 Darkbloom이라는 분산형 inference network를 공개했다. 핵심은 유휴 Apple Silicon Mac을 추론 자원으로 연결해, 중앙화된 GPU/API 경로를 거치지 않고도 저비용 AI 추론을 제공하는 것이다.

주요 주장

• 100M+ 대의 Apple Silicon 기기가 2020년 이후 출하됐고, 대부분 하루 18시간 이상 유휴 상태라고 본다.
• 중앙화 대안 대비 최대 70% 저렴한 비용을 목표로 한다.
• API는 OpenAI-compatible 하며, chat, image generation, speech-to-text를 지원한다.
• 상단 소개에서는 운영자가 95%의 revenue를 유지한다고 하고, 운영자 경제 섹션에서는 **platform fee 0% / operators keep 100%**라고 설명한다.

보안 모델

• 요청은 클라이언트에서 암호화된 뒤 전송된다.
• coordinator는 ciphertext만 라우팅하고 내용을 읽지 못한다.
• 노드는 Apple의 secure hardware 안에서 생성된 키와 attestation chain을 사용한다.
• inference 프로세스는 hardened runtime으로 잠기며 debugger attachment, memory inspection을 막는다고 설명한다.
• 응답은 특정 머신이 서명해 추적 가능하게 만든다.

구현 방식

• 기존 OpenAI SDK를 그대로 쓰고, base_url만 https://api.darkbloom.dev/v1로 바꾸면 된다고 안내한다.
• 스트리밍, function calling, 기존 SDK 호환을 내세운다.
• 모델은 Gemma 4 26B, Qwen3.5 27B/122B MoE, MiniMax M2.5 239B, Cohere Transcribe 등을 카탈로그로 제시한다.

가격과 운영

• per-token 가격 비교표에서 OpenRouter 대비 50% 절감을 제시한다.
• 이미지 생성은 $0.0015/image, speech-to-text는 $0.001/minute로 제시한다.
• 운영자는 idle Mac에 CLI를 설치해 launchd service로 돌릴 수 있고, 메뉴바 앱은 개발 중이라고 적혀 있다.