FLE Studio, llama.cpp 로컬 추론용 인터페이스 출시

FLE Studio는 llama.cpp와 FastLocalExperts(FLE) 엔진 사용을 간소화하기 위해 설계된 새로운 로컬 채팅 및 실험용 애플리케이션이다. 대형 MoE 모델과 전문가 캐싱을 실행할 때 복잡한 시작 플래그 설정 문제를 통합 인터페이스로 해결한다.

주요 기능

• 실시간 추론 데이터: 생성 중 프롬프트 및 생성 속도, draft/MTP 허용률, NVIDIA GPU 사용률, FLE의 전문가 캐시 적중률 등 실시간 지표를 표시한다.
• 모델 관리: 내장 로더는 Qwen3.8-Flash-Next의 FLE 양자화 버전을 나열하며 Hugging Face의 모든 GGUF 모델을 지원한다. 다운로드 전 로컬 하드웨어 호환성을 검증하고, 재개 기능을 지원하며, SHA-256 해시를 확인한다.
• 시작 프로필: 특정 명령줄 구성을 확인하고 저장할 수 있다. 앱은 적절한 백엔드(FLE CUDA, llama.cpp CUDA, Metal, Vulkan 또는 CPU)를 자동으로 선택하거나 기존 llama-server 인스턴스에 연결한다.
• 실험: Experiments 탭을 통해 다양한 구성 설정을 나란히 비교할 수 있는 빠르고 반복적인 속도 테스트를 수행할 수 있다.

기술 세부 정보 및 가용성

이 애플리케이션은 MIT 라이선스를 따르며, 설치 프로그램이 uv를 통해 자체 Python을 포함하고 앱이 표준 라이브러리만 사용하므로 외부 Python 설치가 필요 없다. 현재 버전은 0.1.0이며, 개발자는 잠재적인 미비점을 언급했다. 초기 테스트는 RTX PRO 4500을 장착한 Linux 머신에서 진행되었으며, 특히 NVIDIA GPU를 사용하는 Windows 사용자의 피드백을 구하고 있다.

로드맵의 향후 업데이트에는 사용자가 애플리케이션 내에서 직접 imatrix, 텐서별 타입, 선택적 REAP 프루닝을 사용하여 맞춤형 FLE 스타일 양자화를 구축할 수 있는 기능인 **"Studio Forge"**가 포함된다.