AI Briefing로컬 LLM 관측 도구 'Torrix' 공개
Free self-hosted observability tool for local LLMs, see exactly what Ollama is doing
·2026.04.27 22:12
핵심 내용
로컬 LLM의 요청, 응답, 지연 시간 등을 모니터링할 수 있는 셀프 호스팅 관측 도구 Torrix가 출시되었다.
자세히 보기
데이터를 외부 서버로 전송하지 않고 로컬 환경에서 직접 실행되는 Torrix는 Ollama와 같은 로컬 LLM 사용자를 위한 HTTP 프록시 기반 관측성(Observability) 도구다.
기존 클라우드 기반 도구와 달리 프라이버시를 유지하면서도 모델의 동작을 상세히 분석할 수 있는 것이 특징이다. 기존 애플리케이션의 base_url만 변경하면 코드 수정 없이 바로 적용 가능하다.
주요 기능:
- 상세 로그 기록: 모델명, 토큰 수, 지연 시간, 프롬프트 및 응답 전문 저장
- 성능 분석: p50/p95/p99 지연 시간 통계 및 비용 추정 제공
- 트레이싱 및 그룹화: 세션 그룹화 및 멀티 스텝 LLM 체인을 위한 에이전트 트레이스 지원
- 품질 평가: LLM Judge를 통한 품질, 정확성, 추론 깊이 자동 점수화
- 데이터 활용: 필터링된 데이터를 CSV로 내보내어 파인튜닝에 활용 가능
설치 및 이용: Docker 컨테이너를 통해 단일 명령어로 간편하게 설치할 수 있다. 커뮤니티 에디션은 무료로 제공되며, 100회 실행 기록 및 7일간의 데이터 보관 등의 제한 사항이 있다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
