오픈소스 LLMOps 플랫폼 agenta 공개

agenta는 프로덕션 수준의 LLM 애플리케이션 개발을 위해 프롬프트 관리, LLM 평가, LLM 관측 기능을 통합한 오픈소스 플랫폼입니다.

핵심 기능:

• 프롬프트 관리: UI 기반 플레이그라운드를 통해 여러 프롬프트를 테스트 케이스와 함께 비교 실험할 수 있으며, 브랜치 및 환경 개념을 통한 버전 관리를 지원합니다.
• LLM 평가: LLM-as-judge 방식과 20개 이상의 사전 제작 평가자, 커스텀 평가자를 통해 품질을 검증하며, 전문가의 피드백(Annotation) 통합이 가능합니다.
• LLM 관측 가능성: OpenTelemetry 기반의 트레이싱을 통해 비용, 지연 시간, 사용 패턴을 추적하고 복잡한 워크플로우를 디버깅할 수 있습니다.

사용자는 Agenta Cloud를 통해 관리형 서비스를 이용하거나, Docker Compose를 사용하여 자체 서버에 직접 설치(Self-hosting)할 수 있습니다.