전문가만 업그레이드

**BAR (Branch-Adapt-Route)**는 도메인별 expert를 독립적으로 학습한 뒤 하나의 모델로 합치고, 나머지 부분을 다시 학습하지 않고도 특정 expert만 교체·업그레이드할 수 있게 한다.

지난해 공개한 FlexOlmo가 프리트레이닝 단계의 모듈형 결합을 다뤘다면, BAR는 이를 post-training으로 확장했다. 수학, tool use, code 같은 영역을 따로 개선할 때 흔히 생기는 성능 손실이나 재학습 비용을 줄이는 것이 목표다.

• 각 skill에 맞는 expert를 분리 학습
• 이를 하나의 모델로 병합
• 입력에 따라 어떤 expert를 쓸지 모델이 라우팅
• 특정 expert만 업데이트해도 전체를 다시 학습할 필요가 없음

AllenAI 설명에 따르면 7B 규모에서 BAR는 pretraining 이후 모델을 업데이트하는 기존 대안들보다 더 좋은 성능을 보였고, 별도 dense 모델을 학습해 나중에 붙이는 방식보다 우수했으며, scratch부터 full retraining한 결과에 꽤 근접했다.