실시간 데이터로 가중치 생성·적응하는 '무한 파라미터 LLM' 아키텍처 제안

기존 LLM은 학습 후 가중치가 고정되어 있어 배포 후 실시간으로 제공되는 데이터나 수정 사항을 모델 내부에 반영할 수 없으며, 이는 프롬프트에 의존하여 요청 종료 시 폐기되는 구조적 한계가 있다. 이를 해결하기 위해 제안된 'Infinite-Parameter LLM'은 MoE(Expert Mixture)에서 영감을 받아, 컴팩트한 하이퍼네트워크가 런타임 데이터를 공유 베이스 네트워크의 저랭크 변조(low-rank modulation)로 변환하여 피드포워드 가중치를 실시간으로 생성한다. 기존의 가중치 생성기와 달리 컨텍스트를 한 번 읽고 동결하지 않으며, 생성기의 잠재 코드(latent code)에 대한 베이지안 신념(Bayesian belief)을 유지하고 온라인으로 업데이트하여 세션 진행에 따라 유효 가중치를 재도출한다. 이 아키텍처는 저장 공간은 고정되어 있으나 모델이 컴파일할 수 있는 가중치는 사실상 무한하며, 인컨텍스트 학습 및 리트리벌과 비교하여 컴퓨팅 비용 상각, 컨텍스트 윈도우 의존도 감소, 턴 간 지식 지속성 확보, 그리고 더 나은 일반화 성능을 기대할 수 있다.