Sakana AI, MASS 논문 공개

Sakana AI와 UC Berkeley 연구진이 MASS(Multi-Agent Self-Supervision) 논문을 공개했다. 이 방법은 외부 신호 없이 언어 모델이 과제 수행자, 최적화자, 평가자 역할을 모두 수행하며, 모델 복제본으로 구성된 멀티 에이전트 팀의 작업 궤적을 미세조정 데이터로 사용하는 동질적 재귀적 자기 개선(RSI) 프레임워크다.

MASS 동작 방식

MASS는 내부 루프(워크플로우 탐색)와 외부 루프(모델 미세조정)를 반복한다. 내부 루프에서는 프롬프트 텍스트로 정의된 워크플로우(역할, 지시, 계약, 홉)를 진화 알고리즘처럼 최적화한다. 외부 루프에서는 최적화된 워크플로우로 과제를 수행한 궤적 중 상위 15개를 선정해 LoRA로 모델을 미세조정한다. 학습 시 오케스트레이터의 초기 지시문은 제거하고 하위 에이전트 지시만 유지하여 과제 자체에 집중하도록 한다.

실험 결과 및 성능

Qwen3.6-27B를 기준으로 실험한 결과, 연구형 벤치마크에서 성능 향상이 관찰됐다. MLR-Bench는 1.60배, DSBench는 1.35배, ScienceAgentBench는 1.20배의 출력 토큰당 점수 배율 상승을 기록했다. 반면, Terminal-Bench 2.0과 SWE-bench Verified 같은 소프트웨어 벤치마크에서는 각각 0.96배, 0.94배로 점수가 하락하여 전이성 한계를 드러냈다. 합성 과제 테스트에서는 2차 사이클(L2) 모델이 기준 모델(L0) 대비 69.9%의 승률을 보였다.

분석 및 한계

멀티 에이전트 궤적 학습은 단일 에이전트 학습 대비 지도 토큰을 31.4% 절감하면서도 승률을 4.3%p 높이는 토큰 효율성을 입증했다. 또한, 과제 풀이 궤적 학습만으로 워크플로우 최적화 및 평가 능력도 함께 향상되는 '역할 일반화' 현상이 확인됐다. 그러나 개선의 통계적 유의성이 일부 벤치마크에서 낮고, 소프트웨어 과제 성능 하락, 외부 판정 모델 의존성, 그리고 동질적 루프의 공유 사각지대 등 안전성 문제가 한계로 지적됐다.