Mostik.AI, LLM 은닉 상태 통신

러시아 연구소 Mostik.AI가 대규모 언어 모델(LLM) 간에 텍스트 출력 없이 **은닉 상태(latent state)**를 직접 전달하는 기술을 공개했다. 이 방식은 Anthropic의 연구에서 확인된 내부 추론 과정을 활용하며, 작은 모델이 큰 모델의 추론 능력을 가져와 고품질 출력을 생성할 수 있게 한다.

작동 원리

두 모델 사이에 학습된 '브리지(bridge)' 모듈만 추가하여 은닉 공간을 연결한다. 이 과정에서 두 모델의 가중치는 변경되지 않으며(동결 상태), 텍스트 형태의 데이터 교환은 발생하지 않는다.

잠재적 활용

현재 구현은 모델 동결 상태지만, 향후 작은 모델의 가중치를 풀어 학습할 경우 텍스트 변환 없이 큰 모델의 은닉 공간 표현을 직접 학습하는 증류(distillation) 및 훈련 방식으로 확장될 수 있다. 이는 텍스트 인코딩/디코딩 오버헤드를 줄이고 효율적인 모델 훈련을 가능하게 할 것으로 기대된다.