AQuA, LLM 에이전트 데이터 누출 방지 구조 공개

AQuA 연구 루프에서 LLM이 작성한 인트레이딩 기능이 '현재까지 거래량'을 '당일 최종 총 거래량'으로 나누는 과정에서 미래 데이터(후속 거래)를 포함하는 버그를 범했다.

리뷰어 LLM은 인과적으로 들리는 설명을 승인했으나, 정밀한 재분할 테스트에서 신호가 사라지며 수동 감사로 누출이 발견되었다.

이 문제를 해결하기 위해 AQuA v2는 데이터 분할, 특징 및 레이블 정의, 평가자를 에이전트의 적응 표면 밖으로 밀봉하는 구조적 접근을 채택했다.

임의의 특징 코드를 허용하는 대신 고정된 인과 연산자 레지스트리를 사용함으로써, 전체 일 정규화(full-day normalizer)와 같은 비인과적 연산 자체가 불가능하도록 제한했다.

이 방식은 알려진 무효 변환을 차단하는 확실한 보장을 제공하지만, 에이전트가 발명할 수 있는 탐색 공간(search space)을 축소하는 비용이 따른다. 더 강력한 리뷰어는 탐색 공간을 보존할 수 있지만, 미묘한 의존성을 신뢰성 있게 포착해야 하는 과제가 있다.