Apple, LLM 에이전트로 데이터 카탈로그 자동 분류하는 'Glyph' 공개

Apple이 엔터프라이즈 데이터 레이크의 문서화 부채를 해결하기 위해 LLM 에이전트 기반 시스템 Glyph를 공개했다. 이 시스템은 컬럼 설명 생성과 데이터 분류용 타입 어노테이션을 협력하는 상태 그래프(stateful graphs)로 구성했다.

Descriptor는 각 컬럼을 생성하는 파이프라인 소스 코드를 엔터프라이즈 GitHub에서 검색하여 설명을 생성하며, Tagger는 275개 리프 노드를 가진 데이터 분류 온톨로지에 따라 라벨을 할당한다. Tagger는 설명 기반, 비즈니스 라인 정규식 기반, 그리고 미세 조정된 대비 인코더를 사용하는 메타데이터 기반의 세 가지 전략을 병렬로 실행한 후 **Reciprocal Rank Fusion(RRF)**으로 결과를 융합한다.

특히 6층 MiniLM 메타데이터 인코더를 대비 학습 목표로 미세 조정한 결과, 동일 태그 검색 성능(NDCG@10)이 기본 인코더 대비 0.55에서 0.92로 향상되었다. Glyph는 값 기반 스캐너와 달리 코드에 기반한 설계와 태그별 출처 추적(provenance)을 지원하여 감사 및 운영이 가능한 프로덕션 서비스로 설계되었다.