Future AGI, AI 에이전트 평가 플랫폼 공개

Future AGI가 LLM 및 에이전트 애플리케이션의 평가(Evaluation), 트레이싱(Tracing), 개선을 위한 오픈소스 플랫폼을 GitHub에 공개했습니다. Apache-2.0 라이선스로 제공되며, 사용자가 직접 호스팅할 수 있는 Self-hostable 방식입니다.

주요 기능은 다음과 같습니다:

• Tracing: OpenTelemetry 기반으로 구축되어 LangChain, LlamaIndex와 같은 프레임워크를 코드 수정 없이 자동 계측(Auto-instrumentation)합니다.
• Evaluation SDK: 사실적 정확성, 근거성(Groundedness), 독성, PII(개인정보), 탈옥 및 프롬프트 인젝션 탐지 등 다양한 내장 체크 기능을 제공합니다.
• Deterministic Checks: 네트워크 연결 없이 로컬 환경에서 실행되는 결정론적 검증 기능을 통해 실패 경로를 직접 확인할 수 있습니다.
• Gateway & SDK: 단일 Go 바이너리로 제공되는 게이트웨이를 통해 프롬프트/워크플로우 최적화 및 합성 사용자 시뮬레이션이 가능합니다.

기술 스택은 게이트웨이의 경우 Go를 사용하며, 평가 및 트레이싱 라이브러리는 Python과 TypeScript 바인딩으로 구현되었습니다.