RLVR에서 RLSVR로 (GitHub 저장소)

**RLSVR(Reinforcement Learning with Self-Verifiable Rewards)**은 자기지도학습처럼 과제 자체를 변환해 보상 신호를 만드는 강화학습 방법이다. 개방형 과제를 검증 가능한 프록시 환경으로 바꾸고, 환경의 규칙과 상호작용 결과를 통해 별도 검증기 없이 보상을 생성한다.

구현체인 SpyRL은 ‘Who Is the Spy?’에서 영감을 얻은 다중 에이전트 self-play 환경이다. 에이전트들은 비대칭 정보를 받은 채 같은 과제를 수행한 뒤 스파이를 투표로 찾아내며, 스파이의 정체는 환경이 미리 정하기 때문에 투표 결과를 완전히 검증 가능한 보상으로 사용할 수 있다.

주요 특징은 다음과 같다.

• 수학·코드처럼 정답이 있는 분야를 넘어 요약과 창작 글쓰기에도 self-play를 적용한다.
• 스파이 식별 보상과 투표 수 기반 zero-sum 보상으로 에이전트 간 경쟁을 유지한다.
• 여러 플레이어의 집단 판단을 GRPO 방식으로 정규화해 단일 검증기의 오류 영향을 줄인다.
• 문서 단위 데이터를 활용해 저렴하게 학습할 수 있다.

Qwen3-8B 기준으로 요약과 창작 글쓰기에서 각각 75.4%, 77.3% A/B 승률을 기록했다. 수학 추론에서는 7개 벤치마크 기준 Qwen3-4B와 Qwen3-8B의 성능을 각각 8.97%, 6.16% 향상했으며, R-Zero와 Absolute Zero는 개방형 과제에서 제한적인 개선에 그쳤다.

같은 저장소의 vision-zero 브랜치에는 이미지 쌍 기반 VLM self-improvement 방법인 Vision-Zero도 포함돼 있다.