경쟁 문장이 컨텍스트 길이보다 검색 성능 저하를 더 크게 유발

증거에 대한 어텐션 질량(a*)은 126,473회 실험에서 손실 분산의 35~58%를 설명하는 반면, 로그 길이는 2~8%만 설명함
중립 필러는 Qwen2.5-1.5B에서 32K 토큰까지 정확도 0.97~1.00을 유지해 거의 비용이 없으나, 경쟁 문장은 정확도를 0.11~0.21로 떨어뜨림
경쟁 문장 1개는 손실을 9~110배로 증폭시켜, 검색 실패의 원인이 컨텍스트 길이가 아닌 의미적 경쟁임을 시사함
필러를 마스킹하는 방식(Du et al., 2025)은 32K에서 검색 정확도를 46포인트 낮추는 반면, 가시적 중립 필러는 비용이 없어 길이 관련 주장에는 가시적 대조군이 필요함
연구는 4개 계열의 오픈 모델 5종(0.5B~3B)을 대상으로 하며, 어텐션 결과는 예측적이지 인과적이지 않고 단일 합성 태스크에 한정됨

핵심 내용