U-Space, 단일 패스 불확실성 추정기 U-Lens 출시

U-Space 프로젝트가 라벨, 미세 조정, 또는 다중 샘플링 없이 오픈 웨이트 추론 모델의 불확실성을 추정하는 U-Lens를 공개했다. 이 방법은 숨겨진 상태(hidden state)를 네 가지 '의심' 방향에 투영한 강도와 추론 토큰의 평균 엔트로피를 결합해 점수를 계산한다.

U-Lens 작동 방식

U-Lens는 단일 패스(single-pass) 및 라벨 프리(label-free) 추정기다. 모델 출력의 불확실성을 네 가지 유형으로 분류한다:

• 모호성(Ambiguity)
• 정보 누락(Missing information)
• 증거 충돌(Conflicting evidence)
• 일반 불확실성(General uncertainty)

이 방법은 Anthropic의 글로벌 워크스페이스 연구에서 파생된 모델별 요소인 **Jacobian lens (J-Lens)**를 사용한다. J-Lens를 확보하면 몇백 단어의 unembedding 행만 사용해 CPU에서 U-Space 기저(basis)를 구성할 수 있어 전체 모델 로딩이 필요 없다. 추론 시에는 사고 과정 종료 시점의 숨겨진 상태 하나를 추출해 네 벡터에 투영하고, 로짓에서 얻은 평균 엔트로피를 곱한다.

성능 및 가용성

3개 시드, 3개 모델(Gemma 4, Qwen3.5, Magistral), 4개 벤치마크 평가에서 U-Lens는 5패스 및 10패스 샘플링 방법과 지도 학습 기준선을 능가하며 최상의 추정기 성능을 보였다.

• 사전 적합 렌즈: Hugging Face(neuronpedia/jacobian-lens)에서 40개 이상의 사전 적합된 J-Lens를 제공한다. Gemma 2/3/4, Qwen3/3.5/3.6, Llama 3.1/3.3, gpt-oss-20b, OLMo 3 등을 지원한다.
• 맞춤 적합: 지원되지 않는 모델은 Anthropic의 참조 코드(anthropics/jacobian-lens)와 약 100개의 라벨 없는 프롬프트로 렌즈를 적합할 수 있다.
• 구현: GitHub(s2labres/U-Space)에서 코드를 확인할 수 있다. 현재 pip 패키지가 아닌 연구용 코드로 릴리스되었다.