AI Alliance, N+1 학습 아키텍처 공개
The AI Alliance wants to train a frontier base model by sharing weight deltas instead of data, so contributors keep their corpora local
AI Alliance가 데이터 유출 없이 가중치 업데이트만 공유하는 연합 학습 기반의 프론티어 모델 개발 계획을 발표했다.
AI Alliance가 파리에서 개최된 Project Tapestry 워크숍 보고서를 통해 'N+1' 아키텍처를 공개했다. 이 방식은 하나의 컨소시엄 학습 베이스 모델과 여러 개의 주권적 파생 모델을 결합하는 것을 목표로 한다.
참여 노드는 원시 데이터를 외부로 전송하는 대신, 로컬 데이터를 통해 베이스 모델을 학습시킨 후 **가중치 업데이트(weight deltas)**만을 공유한다. 이렇게 수집된 델타는 검토 및 집계 과정을 거쳐 공유 베이스 모델에 반영된다.
주요 기술적 특징은 다음과 같다:
- 가중치 델타 집계(Weight-delta aggregation) 및 사이클 빈도 트레이드오프 관리
- 버전 관리된 기여 이력 및 개별 델타에 대한 롤백(Rollback) 기능
- 오픈소스 거버넌스를 차용한 유지 관리자 스타일의 검토 권한 부여
이 프로젝트는 참여자가 데이터 주권을 유지하면서도 모델 역량을 결합할 수 있는 '안티 캡처(anti-capture)' 원칙을 지향한다. Yann LeCun은 이를 데이터 현지화를 유지하며 역량을 결합하는 핵심 메커니즘으로 평가했다.
다만, 서로 다른 환경의 노드 간 가중치 델타 집계가 실제 프론티어급 모델의 품질을 유지할 수 있을지는 향후 진행될 분산 가중치 업데이트 실험을 통해 증명되어야 할 과제로 남아 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.