GPT-4에서 개념 추출하기

신경망의 내부 작동 방식은 여전히 블랙박스 영역으로 남아 있다. 기존 신경망의 활성화 패턴은 예측 불가능하고 밀집(dense)되어 있어, 특정 개념이 어떻게 표현되는지 파악하기 어렵다. 이는 AI의 안전성을 자동차 안전성처럼 논리적으로 검증하는 데 큰 걸림돌이 된다.

이를 해결하기 위해 **희소 오토인코더(Sparse Autoencoders, SAE)**를 활용한다. SAE는 신경망 내에서 특정 출력에 중요한 영향을 미치는 소수의 '특징(features)'을 식별하여, 인간이 이해하기 쉬운 희소한 활성화 패턴을 찾아낸다.

OpenAI는 대규모 모델에서도 작동하는 새로운 방법론을 개발하여, GPT-4에서 무려 1,600만 개의 특징을 찾아내는 데 성공했다. 이번 연구는 기존 기술보다 뛰어난 확장성을 보여주며, 특징의 품질을 평가하기 위한 새로운 지표도 함께 도입했다.

연구 커뮤니티의 후속 연구를 지원하기 위해 관련 논문, 코드, 그리고 특징을 직접 확인할 수 있는 시각화 도구를 모두 공개했다.