VKORE-46M-NPU, 추론 전용 NPU에서 역전파 학습 주장... 모델카드 뜯어보기

허깅페이스에 공개된 VKORE-46M-NPU 모델카드는 추론 전용 NPU에서 역전파(backpropagation)를 수행해 가중치 없이 0부터(from scratch) 소형 언어모델을 사전학습했다고 주장합니다. 이는 '추론 칩은 학습이 불가능하다'는 통설에 도전하는 사례입니다.

검증 방법과 결과

해당 모델은 약 46M 파라미터 규모의 decoder-only transformer 아키텍처를 채택했으며, 리벨리온 ATOM-Max 계열의 1세대 추론 전용 NPU 32칩 환경에서 학습되었습니다. 가장 주목할 점은 검증 방식입니다. 동일한 초기화, 데이터, 스케줄로 NPU와 GPU에서 각각 학습을 진행한 결과, 두 학습의 손실(loss) 궤적 상관계수가 0.99로 나타났습니다. 이는 NPU의 역전파와 옵티마이저 업데이트가 GPU 레퍼런스와 수치적으로 사실상 동일하게 작동함을 보여주는 강한 증거로 해석됩니다.

기술적 의의와 한계

이 결과는 추론용으로 배포된 저전력 가속기를 유휴 시간에 학습 자원으로 활용하거나, 데이터 주권을 지키며 온디바이스 학습을 수행할 가능성을 시사합니다. 다만 char-level 토크나이저와 TinyStories 데이터셋을 사용한 토이 스케일 실험이며, 핵심 학습 기법은 특허 출원 이유로 비공개 상태입니다. 대형 모델 및 실데이터 확장 여부는 향후 과제입니다.