Ollama 프록시 'Vessel' 공개

Ollama 및 호환 API를 사용하는 에이전트의 프롬프트, 토큰 수, 응답 속도 등을 기록하고 시각화하는 오픈소스 프록시 Vessel이 공개됐다. 이 도구는 모든 요청을 로컬 SQLite 파일에 저장하며, 웹 UI를 통해 검색, 필터링, 에이전트별 태그 관리가 가능하다.

핵심 기능은 **요청 재실행(Replay)**이다. 캡처된 요청을 다른 모델에 재실행하여 두 응답과 성능 지표를 나란히 비교할 수 있다. Ollama의 네이티브 API 통계를 읽어 토큰 생성 속도(t/s)와 첫 토큰 응답 시간(TTFT)을 정확히 측정하며, 모델 로딩 지연(콜드 스타트)을 자동으로 감지한다.

주요 특징

• 호환성: Ollama, OpenAI/Anthropic 호환 엔드포인트, LM Studio, llama.cpp, vLLM 등 API가 있는 모든 환경에서 작동한다.
• MCP 서버 내장: 코딩 에이전트가 실시간으로 데이터를 조회할 수 있도록 MCP(Model Context Protocol) 서버를 지원한다.
• 간편한 배포: 단일 바이너리 파일로 제공되며, 추가 의존성이나 계정, 텔레메트리 기능이 없다. MIT 라이선스로 공개되어 있다.