J-Space만큼 특별한 공간은 없다

J-space는 모델이 인간의 의식적 추론과 유사한 작업을 수행할 수 있도록 정보가 가용해지는 영역을 의미한다.

이는 Jacobian Lens라 불리는 해석 가능성(interpretability) 기술에서 명명되었다. 이 기술은 다양한 컨텍스트에서 모델의 최종 출력에 대한 잔차 스트림(residual stream)의 변화가 미치는 평균적 인과 효과를 각 레이어별로 계산한다.

이러한 방식을 통해 연구자들은 모델이 연산을 진행함에 따라 각 레이어에 어떤 개념들이 연관되어 있는지 추적할 수 있다. J-space와 J-lens는 LLM에 대한 이해도를 높이는 데 매우 효과적인 도구로 평가받는다.