LLM source-boundary 실패
Resource: source-boundary failures in LLM evidence use
source 경계를 명시해야 LLM이 답변 근거로 쓸 수 있는 텍스트를 구분했다.
Context Is Not Control은 context window 안의 텍스트라도 task에 허용된 evidence인지 구분하는 문제를 다룬 working paper다. replication artifacts도 함께 공개됐다.
long-context, RAG, tool-using workflow에서는 user instructions, retrieved docs, stale docs, suspended docs, quoted claims, answer choices, injected/adversarial text가 한데 섞인다. 여기서 핵심은 '텍스트가 존재한다'는 사실과 '답변 근거로 admissible하다'는 사실을 분리하는 일이다.
핵심 결과는 다음과 같다.
INSUFFICIENT답변 옵션만 추가하는 방식은 충분하지 않았다.- task frame에 source admissibility / source boundaries를 명시하면 더 강한 개선이 나타났다.
Claude는 여러 frontier/API 모델과 open-weight 모델 가운데 하나로 테스트됐고, 결과는 Anthropic 모델에만 국한되지 않았다. 이 연구는 hallucination 전체보다 더 좁은 실패 모드, 즉 문서가 보인다는 것과 그 문서가 근거로 써도 된다는 것은 다르다는 점을 보여준다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.