13KB로 100% 달성

Oracle Forge의 경계형 데이터 에이전트는 PostgreSQL과 MongoDB를 넘나드는 라우팅, 조인 키 보정, 비정형 텍스트 처리가 핵심이었다.

초기에는 RAG로 "찾고 잘 되길 바라는" 방식이었지만, 조용한 실패(silent failures)가 잦아 Knowledge Base(KB) 자체를 테스트 가능하게 바꾸는 쪽으로 방향을 틀었다.

• 21개 KB 문서를 만들고 스키마, 조인 규칙, 도메인 용어를 각각 정리
• 각 문서마다 단위 테스트를 설계
• 새 Llama 3.1 8B 세션에 문서 1개만 넣고, 그 문서에서 특정 정보를 뽑아야 답할 수 있는 검증 질문을 던짐
• 핵심 키워드의 30% 이상을 놓치면 실패로 판정

첫 결과는 약 60% 통과율에 그쳤지만, 문서 자체를 13번 다시 쓰는 동안 구조를 바꾸자 최종적으로 **21/21, 100%**를 달성했다.

효과가 컸던 패턴은 다음과 같다.

• Tables > Prose: 데이터성 문단을 마크다운 표로 바꾸자 8B 모델의 추출력이 개선됨
• Front-loading: 해야 할 작업 경로(Action Path)를 문서 앞 **30%**에 배치하고, 이유는 뒤로 미룸
• Embedded Q&A: 각 문서 끝에 검증용 질문/답변을 넣어 모델이 무엇을 뽑아야 하는지 미리 맞춰줌
• Keyword redundancy: 특정 문자열이 헤더, 본문, 푸터에 반복되게 배치

결론은 명확하다. KB는 문서가 아니라 런타임의 일부이며, 문서 한 장만 넣었을 때도 8B 모델이 정답을 못 뽑는다면 시스템은 DB에 닿기 전부터 이미 취약하다는 것이다.