Show HN: Ctrlb-decompose: LLM으로 보내기 전 로그의 노이즈를 제거하는 도구

수백만 줄의 노이즈 섞인 로그를 통계, 이상 징후, 상관관계를 활용해 소수의 실행 가능한 패턴으로 압축하는 ctrlb-decompose가 공개되었습니다. 이 도구는 로그 데이터를 LLM에 전달하기 전, 토큰 비용을 줄이고 핵심 정보를 전달할 수 있도록 최적화합니다.

주요 작동 원리:

• CLP(Compressed Log Processor) 인코딩: 변수 토큰을 타입화된 플레이스홀더로 변환하여 구조적으로 동일한 로그를 하나의 로그 타입으로 통합합니다.
• Drain3 클러스터링: 트리 기반 유사도 클러스터링을 통해 로그를 패턴화하며, 단 한 번의 스트리밍 패스로 처리가 가능합니다.
• 변수 분류 및 통계: 추출된 변수를 IPv4, UUID, Duration 등 의미론적 타입으로 분류하고, DDSketch를 통해 p50/p99와 같은 분위수 통계를 계산합니다.
• 이상 탐지 및 점수화: 빈도 급증, 에러 캐스케이드, 이봉 분포 등을 감지하고 키워드 기반으로 심각도를 점수화합니다.

출력 형식: 사용자는 목적에 따라 ANSI 터미널(사람용), Compact Markdown(LLM용), 또는 JSON 형식으로 결과를 출력할 수 있습니다. Rust 라이브러리, CLI, 또는 WASM을 통한 브라우저 환경에서 실행 가능합니다.