AI BriefingJVM 전용 AI 추론 엔진 'jinfer' 공개
jinfer: An open-source AI inference engine for the JVM. Finally, AI in jar.
·2026.09.15 17:09
핵심 내용
Python 의존성 없이 JVM에서 AI 추론을 수행하는 오픈소스 엔진 'jinfer'가 공개됐다.
자세히 보기
JVM 환경에서 Python 런타임이나 ONNX, 사이드카 프로세스 없이 AI 추론을 수행할 수 있는 오픈소스 엔진 jinfer가 공개됐다. 이 엔진은 채팅, 비전, 오디오 전사, 임베딩, 리랭킹, TTS 등 다양한 모달리티를 지원하며, 전체 스택이 JVM용으로 설계됐다.
주요 구성 요소
- Tok'n'Roll: 순수 Java로 구현된 LLM용 고속 토크나이저로, 의존성이 없다.
- gguf / safetensors: 두 가지 주요 모델 형식에 대한 네이티브 읽기/쓰기 기능을 제공한다.
- jam: Vector API와 선택적 네이티브 백엔드를 활용한 양자화 행렬 곱셈 루틴으로, CPU에서 llama.cpp와 경쟁력 있는 성능을 보인다.
- jota: Java, C, CUDA, HIP, Metal, OpenCL, Mojo를 타겟팅하는 Tensor API이다.
생태계 통합 및 현황
Spring AI 및 LangChain4j와 연동되며, GraalVM Native Image에 대한 일급 지원이 포함된다. 현재 초기 릴리스 단계로 CPU가 주요 타겟이며, GPU 지원은 jota를 통해 개발 중이다. Apache 2.0 라이선스로 공개되어 있으며, llama3.java의 저자가 개발을 주도하고 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
