Pinterest, 루프 엔지니어링으로 분석 에이전트 준수율 89.3% 달성

Pinterest은 메타데이터 검사 및 관련 소스 검색 등 특정 규칙을 따르는 Analytics Agent의 준수율을 높이기 위해 'loop engineering' 프레임워크를 개발함
튜닝 및 검증 케이스에서 89.3%의 준수율을 달성했으나, 대부분의 개선은 첫 번째 승인된 변경에서 발생했으며 이후 반복은 미미한 가치만 추가함
에이전트가 필요할 때 규칙을 따르고 불필요한 행동을 피하도록 하기 위해 페어 테스트 스위트(필수 및 스킵 케이스)를 사용하여 과도한 검색이나 유효한 단축키 무시와 같은 회귀를 방지함
각 반복은 새로운 컨텍스트와 현재 점수, 실패한 케이스, 이전 실패를 포함한 구조화된 핸드오프로 시작하여 지속 세션 설계 대비 모델 추론 비용을 약 5분의 1로 절감함
변경 사항은 복구/파손 게이트, 하드코딩을 방지하는 승인 크리틱, 관련 없는 기능을 보호하는 회귀 가드라는 세 가지 안전 검사를 통과해야만 승인됨
모델 변동성으로 인해 동일한 실행 간에 10.3%의 테스트 케이스가 판정 변경을 보여, 집계 점수에만 의존하지 않고 개별 케이스 변경을 평가해야 함이 드러남
루프는 에이전트의 시스템 프롬프트, 스킬, 컨텍스트 레이어, 도구 수정으로 제한되며, 불필요한 재작성을 방지하고 표적화된 수정을 보장하기 위해 줄 수 한도를 축소함

핵심 내용