멀티 에이전트 LLM을 위한 클레임 검증 프레임워크 ISNAD
ISNAD: adapting classical isnad–rijal chain-of-transmission verification into a claim-level trust layer for multi-agent LLM systems [R]
·2026.07.29 17:40
고전적 전승 검증 방식을 도입해 멀티 에이전트 시스템의 주장의 신뢰도를 평가하는 ISNAD를 제안한다.
멀티 에이전트 파이프라인에서 발생하는 '유창하지만 틀린 답변(fluent, confident, but wrong)' 문제를 해결하기 위해 클레임 레벨(Claim-level)의 출처 검증 기술을 제안한다.
기존의 에이전트 검증이 정체성이나 권한에 집중했다면, ISNAD는 실제 발화된 내용의 진위와 독립적 교차 검증에 집중한다. 이 방식은 12세기 이슬람 학문의 Isnad-Rijal(전승 경로 및 전승자 검증) 방법론을 차용했다.
핵심 메커니즘:
- 전승 경로(Isnad) 추적: 각 클레임은 전달 경로를 포함하며, 경로의 각 단계가 신뢰할 수 있는지 평가한다.
- 전승자 등급(Rijal) 적용: 정보를 전달하는 각 에이전트/모델의 무결성과 정밀도를 기반으로 신뢰도를 산출한다.
- 독립적 교차 검증: 서로 다른 경로를 통해 전달된 클레임 간의 일치도를 점수화하여 신뢰도를 높인다.
- 내용과 경로의 분리: 전승 경로가 완벽하더라도 전달된 메시지 자체의 오류를 별도로 검증하는 구조를 갖춘다.
본 연구는 프레임워크의 한계점과 실패 모드를 상세히 기술하여 신뢰할 수 있는 검증 체계를 구축하는 것을 목표로 한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.