LLM 소스 경계 인식 평가 프레임워크 공개

LLM의 실패 원인이 단순히 컨텍스트 부족 때문이 아니라, 컨텍스트 내의 잘못된 정보를 통제 신호로 오인하기 때문이라는 점에 주목한 새로운 연구가 발표되었다.

**'Context Is Not Control'**은 모델이 컨텍스트 내의 서로 다른 요소들 사이의 **소스 경계(source-boundary)**를 얼마나 잘 유지하는지를 측정하는 평가 프레임워크다. 모델은 컨텍스트 내에서 다음과 같은 요소들을 명확히 구분해야 한다.

• 증거(Evidence) vs 사용자 프레이밍(User framing)
• 인용문(Quoted material) vs 소스 텍스트(Source text)
• 지시어 오염(Instruction-like contamination) vs 근거 없는 주장(Unsupported claims)
• 권위 있어 보이지만 유효하지 않은 컨텍스트

이 연구는 환각(Hallucination)이나 지시 불이행 문제를 '컨텍스트 압박 하에서의 소스 경계 유지 실패'로 재정의하며, 특히 오픈 소스 모델의 성능을 정밀하게 측정하는 데 유용하다.