Gemma 3 270M, 1,000개 가중치 학습으로 숨겨진 정렬 및 JSON…

Gemma 3 270M에서 무작위로 선택된 1,000개의 가중치를 학습하여 정렬 정확도를 1%에서 97%로 끌어올리고, 가중치 30개만으로도 깔끔한 JSON 출력을 가능하게 함
NeurIPS 2025 연구 기반의 희소 가중치 업데이트 방식으로 8GB 소비자용 GPU 1개에서 실행 가능하며, Llama와 Qwen 모델에서 10~100개 가중치 학습으로 전체 파인튜닝 대비 최대 50%의 성능 격차를 해소함
100,000개 가중치 학습에도 곱셈 정확도가 33%에 그쳐 해당 스킬이 베이스 모델에 거의 부재했음을 시사한 반면, 덧셈은 1,000개 가중치 학습으로 크게 개선됨
어텐션 출력 행렬이 가중치 선택에 가장 효과적인 위치로, 해당 영역의 100개 가중치 학습 시 정렬 정확도 47%를 기록해 모델 전체에서 무작위 선택 시의 35%보다 우위
스킬은 수많은 작은 변화의 합작으로 작동하며, 가장 중요한 50개 위치만从头 학습 시 24% 정확도로 무작위 50개 위치 학습의 16%를 상회함. 학습된 1,000개 가중치의 절반을 제거하면 정확도가 25% 또는 15%로 하락함

Gemma 3 270M, 1,000개 가중치 학습으로 숨겨진 정렬 및 JSON 스킬 해금