추천Ornith-1.5-9B-GGUF: 9B 멀티모달 LLM, GGUF 포맷으로 로컬 구동

Ornith-1.5-9B는 텍스트 생성과 이미지 이해를 동시에 지원하는 9B 규모 LLM이다. GGUF 포맷으로 제공되어 llama.cpp, Ollama, vLLM 등 다양한 로컬 추론 환경에서 즉시 실행할 수 있다. MIT 라이선스 하에 공개되어 상업적 활용에도 제약이 적다.

모델은 BF16, Q4_K_M, Q5_K_M, Q6_K, Q8_0 등 여러 양자화 레벨의 GGUF 파일을 제공한다. 이미지 처리를 위한 mmproj 파일도 함께 포함되어 있어 멀티모달 추론을 위한 추가 설정 없이 바로 사용할 수 있다. 특히 Q4_K_M 버전은 메모리 사용량이 적어 저사양 GPU나 CPU 환경에서도 구동이 용이하다.

채팅 템플릿에 도구 호출(tool calling)과 추론(reasoning) 기능이 내장되어 있어 에이전트 기반 애플리케이션 개발에 적합하다. 시스템 프롬프트에서 함수 호출 형식을 지정하고, 어시스턴트 응답에 사고 과정을 포함하도록 설계되어 있다. 기존 방식과 달리 복잡한 파싱 과정 없이 표준화된 XML 태그 형식으로 도구 호출을 처리한다.

로컬 LLM을 구축하려는 개발자나 프라이버시를 중시하는 환경에서 유용하다. 클라우드 API 의존도를 줄이고 데이터 주권을 확보하면서 합리적인 성능을 원할 때 선택지가 된다. 특히 멀티모달 기능이 필요한 소형 모델이 요구되는 시나리오에서 대안으로 검토할 만하다.