LLMxRay, Ollama 관측 도구 출시

LLMxRay는 Ollama에서 실행되는 로컬 LLM을 위한 오픈소스 관측 도구입니다. 웹 기반 인터페이스를 통해 성능 모니터링, 프롬프트 디버깅, 모델 동작 분석을 실시간으로 제공합니다. 이 도구는 투명한 프록시 역할을 하여 VS Code Copilot, Open WebUI, 커스텀 스크립트 등 다양한 클라이언트의 트래픽을 검사할 수 있습니다.

주요 기능

• Prompt X-ray: 프롬프트 구조를 시각화하여 데몬이 캐시, 재읽기, 또는 삭제하는 부분을 표시합니다. 타임스탬프 등 변경되는 토큰으로 인한 캐시 미스를 식별하는 데 도움을 줍니다.
• Shared Box: 다양한 도구가 모델 가용성과 컨텍스트 사용량에 미치는 영향을 보여줌으로써 성능 병목 현상을 진단합니다.
• GPU Map: 로드된 모델, 컨텍스트 비용, 남은 공간을 포함하여 비디오 메모리 사용량을 표시합니다.
• Live Monitoring: 두 번째 포트(11435)를 통해 Ollama로 요청을 프록시하며, 연결된 모든 도구의 클라이언트, 모델, 프롬프트 크기, 캐시 히트, 속도를 기록합니다.
• Cache Lab: 프롬프트 구조가 캐시 재사용에 미치는 영향을 측정합니다. 토큰 배치 최적화를 통해 상당한 속도 향상(예: 프리필 3.5배 빨라짐)을 입증합니다.
• Surgical Benchmark: MMLU-Pro, ARC-Challenge 등 큐레이션된 스위트에서 실제 토큰 로그 확률(logprobs)을 사용하여 모델의 신뢰도와 정확도를 평가합니다.
• Protocol Observatory: Ollama의 네이티브 엔드포인트, OpenAI 호환 엔드포인트, Anthropic 호환 엔드포인트를 나란히 비교합니다.

설치 및 호환성

LLMxRay는 npx llmxray 또는 Docker로 설치할 수 있습니다. Ollama 0.40.x에서 테스트되었으며 0.20 이상 버전에서 작동합니다. 이 도구는 로컬에서 실행되며 데이터를 브라우저의 IndexedDB에 저장하고, 에이전트 통합을 위한 MCP 서버를 포함합니다.