Show GN: Spanlens - LLM 호출과 에이전트 trace를 한 곳에서 보는 오픈소스 관측 플랫폼

LLM 호출 로깅, 비용 추적, 에이전트 트레이싱을 통합 관리할 수 있는 오픈소스 관측 플랫폼 Spanlens가 공개되었습니다. LLM 사용 시 발생하는 비용 추적의 어려움과 멀티 LLM 호출이 포함된 에이전트 디버깅의 복잡성을 해결하는 데 중점을 둡니다.

주요 기능

• 간편한 프록시 통합: OpenAI, Anthropic, Gemini SDK의 baseURL을 Spanlens 프록시로 변경하는 것만으로 요청, 응답, 토큰 사용량 및 비용을 자동으로 기록합니다. 스트리밍 응답과 Tool calling도 원본과 동일하게 지원합니다.
• 에이전트 트레이스 및 LangGraph 시각화: 트레이스를 시간순 타임라인뿐 아니라 실제 그래프 노드 위에 시각화하여, LangGraph 기반 에이전트의 노드별 지연 시간과 엣지 흐름을 한눈에 파악할 수 있습니다.
• Critical Path 자동 분석: 전체 트레이스에서 지연 시간을 가장 많이 유발하는 호출 체인을 자동으로 식별하여 디버깅 효율을 높입니다.
• 통계적 프롬프트 A/B 테스트: 프롬프트 버전 간의 성능 차이를 단순 평균이 아닌 Welch t-test를 적용해 통계적 유의성을 바탕으로 비교합니다.
• 셀프 호스팅 지원: MIT 라이선스로 제공되며, Docker를 통해 자체 서버에 배포할 수 있습니다.

기술 스택 Next.js 14, Hono, Supabase, ClickHouse를 기반으로 구축되었으며, 대규모 로그 처리를 위해 ClickHouse를 비동기 방식으로 사용하여 데이터 유실을 방지합니다.