애플, 멀티모달 검색 효율화 위한 SSR 프레임워크 공개

멀티모달 에이전트는 종종 긴 자유 형식 추론을 생성하여 소형 모델에는 도움이 되지 않으면서 추론 비용만 증가시킨다. 이에 애플 연구진은 추론을 개방형 생성이 아닌 선택 작업으로 재정의한 Selection-based Structured Reasoning (SSR) 프레임워크를 도입했다.

SSR 작동 방식

SSR은 반복적인 고수준 추론을 사전에 지정된 재사용 가능한 자연어 후보로 표현한다. 각 턴에서 모델은 현재 컨텍스트에 따른 가능성(likelihoods)을 바탕으로 최적의 후보를 선택하며, 보조 작업 헤드가 필요 없다. 이 접근법은 공유 컨텍스트 KV 캐시를 사용하여 후보 내부 및 후보 간에 토큰 가능성을 동시에 계산하는 병렬 스코어링을 가능하게 한다.

성능 결과

2B 및 4B 모델을 사용하여 7개의 멀티모달 검색 벤치마크에서 평가한 결과, SSR은 작업 성능을 희생하지 않고 상당한 효율성 향상을 입증했다. 이 프레임워크는 동급 규모의 선도적인 검색 에이전트와 경쟁할 수 있는 평균 성공률을 달성하면서도 다음과 같은 속도 개선을 제공했다:

• 턴별 추론 지연: 90% 이상 감소
• 질문당 총 모델 추론 지연: 28–54% 감소

이러한 결과는 여러 강화 학습 목표와 지도 미세 조정 방법 전반에서 일관되게 나타났다.