AI BriefingApple, 실시간 iOS 앱 기반 UI 내비게이션 에이전트용 온라인 RL 프레임워크 제안
·2026.11.02 09:00
핵심 내용
Apple의 8B RL 에이전트가 실제 iOS 앱에서 Gemini-3.5-Flash를 능가했다.
자세히 보기
- Apple 연구진이 실시간 iOS 앱에서 UI 내비게이션 에이전트를 학습시키는 온라인 강화학습 프레임워크를 제안함. 이는 감독 기반 미세 조정(SFT)의 취약성과 프론티어 비전-언어 모델의 높은 비용을 극복하기 위함임.
- 해당 8B RL 에이전트는 Android 환경으로의 분포 외 일반화 성능에서 SFT 베이스라인 대비 약 7배의 향상을 기록함.
- 실제 iOS 앱 환경에서 Gemini-3.5-Flash를 능가하고 Gemini-3.1-Pro와 동등한 성능을 보임.
- 에이전트를 Planning 에이전트와 UI Grounding 모델로 분리하여 설계했으며, 스텝 레벨 이점 추정을 적용한 근접 정책 최적화(PPO)로 최적화함.
- LLM-as-a-Judge가 밀집된 스텝 레벨 피드백과 종단 보상을 제공하며, GiGPPO라는 새로운 기법을 통해 동시 진행 중인 궤적에서 시각적으로 유사한 상태의 보상 신호를 활용하여 크리틱 안정성을 개선함.
- 대규모 온라인 학습을 지원하기 위해 수백 대의 동시 가상 iOS 기기를 오케스트레이션하는 인프라에 의존함.
- UINavBench, iOSWorld, AndroidWorld 벤치마크를 통해 평가 수행함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
