환각 방지용 ntkMirror 오픈소스 공개
Our ICML paper on predictable hallucination (information-budget abstention gate), + ntkMirror: a training-free open-weight implementation we're releasing today
·2026.06.10 01:23
증거 순서에 따른 모델의 답변 변화를 이용해 환각을 방지하는 ntkMirror 기술이 공개되었습니다.
ICML 2026에 채택된 연구로, 근거 기반 질의응답(QA) 시 증거의 제시 순서가 모델의 답변 확률을 변화시키는 순열 분산(Permutation Dispersion) 현상을 활용합니다.
새롭게 공개된 ntkMirror는 추가 학습이나 별도의 모델 없이 로컬 오픈 웨이트 모델에서 즉시 사용할 수 있는 구현체입니다. 이 기술은 다음과 같은 특징을 가집니다.
- ISR=1 게이트: 이론적 계산을 통해 튜닝 없이 답변 또는 기권(Abstain)을 결정하는 게이트를 제공하여 환각률을 0.0~0.7% 수준으로 낮춥니다.
- 학습 불필요: 기존 모델의 가중치를 그대로 사용하며, 여러 순서로 증거를 스코어링하여 신뢰도를 측정합니다.
- 고성능 커널: 순열 연산을 배치 처리하는 퓨즈드 커널(Fused Kernel)을 통해 기존 방식 대비 2.6~10배 빠른 속도를 제공합니다.
테스트 결과, Qwen2.5-7B 모델 기준 SciFact 데이터셋에서 0.94의 AUROC를 기록하며 높은 환각 탐지 성능을 보였으며, 모델 크기가 커질수록 성능이 향상되는 경향을 보였습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.