TensorFold: Python 없이 Zig 바이너리로 LLM 서빙

TensorFold는 Apple Silicon과 NVIDIA GPU에서 언어 모델을 서빙하는 추론 엔진이다. Zig로 작성된 단일 바이너리가 체크포인트를 읽고 Metal 또는 CUDA 커널을 직접 실행한다. Python이나 MLX 설치 없이 로컬에서 모델을 구동할 수 있다.

OpenAI 및 Anthropic 호환 API를 제공해 기존 클라이언트 연동이 쉽다. Qwen3.5-2B, Nemotron 3.5 Lightning 등 다양한 모델의 4-bit 체크포인트를 지원하며, 맥과 리눅스 환경 모두에서 동작한다. 병렬 요청 처리를 통해 여러 스트림을 동시에 관리할 수 있다.

실험적인 Living Weights 기능으로 실행 중인 모델의 가중치에 새로운 사실을 학습시킬 수 있다. 또한 TensorFold Starlight를 통해 조직 단위로 모델 접근 권한과 토큰 사용량을 통합 관리하는 엔터프라이즈 환경도 제공한다.

로컬 LLM 추론 환경을 구축하되 복잡한 의존성 관리나 Python 런타임 설치를 피하고 싶은 개발자에게 적합하다. Apache-2.0 라이선스로 공개되어 있으며, 데스크톱 앱과 웹 인터페이스를 통해 모델 실행 및 채팅을 시각적으로 관리할 수 있다.