대규모 환경에서 지속적인 트레이스 인텔리전스를 구현하는 방법

AI 에이전트 운영 시 발생하는 트레이스(trace) 데이터는 수백만 토큰에 달할 정도로 방대하며, 일반적인 NLP 도구나 임베딩 모델로 처리하기에는 구조가 매우 복잡하다. 원본 트레이스를 그대로 임베딩하면 노이즈가 심해지고, 전체를 요약하면 비용이 과다하며, 샘플링을 하면 중요한 버그를 놓칠 수 있다는 문제가 있다.

Braintrust는 이를 해결하기 위해 Anthropic의 Clio 논문에서 영감을 얻은 Topics 솔루션을 개발했다. 핵심은 트레이스 전체를 임베딩하는 대신, LLM을 사용하여 특정 차원(facet)에 따라 트레이스를 한두 문장으로 요약하는 것이다. 이렇게 생성된 요약본을 임베딩하고 클러스터링함으로써, 트레이스 자체가 임베딩 모델의 컨텍스트 창에 들어갈 필요 없이 대규모 분석이 가능해진다.

전체 파이프라인은 다음과 같은 6단계로 구성된다:

• Preprocess: 원본 트레이스를 정제하여 토큰화
• Facet: LLM을 통해 특정 차원(Task, Sentiment, Issues 등)으로 요약
• Embed: 요약된 텍스트를 임베딩 모델로 벡터화
• Cluster: 임베딩된 데이터를 클러스터링
• Name: 클러스터에 이름 부여
• Classify: 결과 분류

비용 효율성을 위해 여러 개의 facet을 하나의 LLM 호출로 배치 처리(Batching)하는 최적화를 적용했다. 이를 통해 트레이스 토큰 비용을 한 번만 지불하면서도 다양한 차원의 분석을 수행할 수 있다.