Rapid-MLX - Apple Silicon 전용 초고속 로컬 AI 엔진

Apple의 MLX 프레임워크와 Metal 컴퓨트 커널을 활용하여 Apple Silicon 맥 환경에 최적화된 로컬 AI 추론 엔진입니다.

주요 성능 및 특징:

• 압도적인 추론 속도: Ollama 대비 최대 4.2배 빠른 속도를 제공합니다 (Phi-4 Mini 14B 기준 180 tok/s).
• 낮은 지연 시간: 캐시 상태에서 TTFT(첫 토큰 생성 시간) 0.08~0.3초 수준의 빠른 응답성을 보여줍니다.
• 도구 호출(Tool Calling) 최적화: 17개의 내장 파서를 통해 양자화 모델의 손상된 출력도 구조화된 형식으로 자동 복구합니다.
• 하드웨어 맞춤형 매핑: 16GB MacBook Air부터 256GB Mac Studio까지 RAM 용량별 최적 모델 구성을 자동으로 제안합니다.

기술적 차별점:

• 추론 분리: Chain-of-Thought 모델의 추론 과정을 별도 필드로 분리하여 지원합니다.
• 캐시 최적화: KV 캐시 트리밍 및 DeltaNet 상태 스냅샷 기술을 통해 멀티턴 대화의 TTFT를 2~5배 개선했습니다.
• 스마트 클라우드 라우팅: 대규모 컨텍스트 요청 시 클라우드 LLM(GPT-5, Claude 등)으로 자동 전환하는 기능을 지원합니다.
• 높은 호환성: OpenAI API와 호환되어 Cursor, Claude Code, LangChain, Open WebUI 등 기존 도구에서 즉시 연동 가능합니다.

기타 지원:

• Vision, Audio, Embeddings 등 멀티모달 기능을 지원하며, Apache 2.0 라이선스로 제공됩니다.