PopuLoRA: 추론 self-play를 위한 공진화하는 LLM populations

검증 가능한 보상 기반 RLVR는 정답을 자동 검증할 수 있는 작업에서 LLM 추론을 키우지만, 고정된 task 분포에 의존하면 너무 쉽고 좁은 커리큘럼으로 굳어질 수 있다.

단일 모델 self-play는 이 한계를 드러낸다. 하나의 모델이 task를 만들고 스스로 푸는 구조에서는 시간이 갈수록 유효한 task가 자기 솔버가 이미 풀 수 있는 난도로 수렴하고, solve rate가 100%에 가까워진다. 그 결과 AST depth, cyclomatic complexity, lines of code, 변수 수가 함께 감소한다.

PopuLoRA는 생성과 해결을 분리한다.

• teachers: code_o, code_i, code_f 같은 검증 가능한 task를 생성
• students: 매칭된 teacher의 task를 여러 rollout으로 풀이
• reward: teacher는 학생이 못 푼 유효한 task에서 보상, 학생은 verifier 통과 보상

모든 역할은 shared frozen base model 위의 LoRA adapters로 구현돼, adapter 수만 늘리는 방식으로 population training을 single machine에서 돌릴 수 있다. 매칭은 TrueSkill 기반 prioritized fictitious self-play로 이뤄지고, invalid·non-deterministic task는 걸러진다. teacher는 invalid task에 패널티를 받고, 아무도 못 푼 task에는 0 보상 floor가 적용된다. 교체 단계에서는 mutation과 crossover로 LoRA weight space를 진화시키며, 새 child는 대체로 10~20 update step 안에 부모 수준 보상을 회복했다.

학습은 solve rate가 단조 상승하지 않고 오르내리는 arms race로 전개된다. teacher가 더 어려운 task를 찾으면 student가 흔들리고, student가 따라오면 teacher가 다시 난도를 올린다. 이 구조는 population 전체를 끌어올렸고, 가장 약한 구성원도 baseline을 앞섰다. 4T+4S 설정은 8개 adapter를 1.31x wall-clock overhead로 돌렸다.

결과적으로 PopuLoRA는 compute-matched single-agent baseline보다 HumanEval+, MBPP+, LiveCodeBench에서 더 좋았고, AIME·AMC·MATH-500·GSM8K·OlympiadBench에서도 개선을 보였다. 다만 수학 성과는 code-only 학습에서 나온 전이 신호로 해석해야 하며, 어떤 요소가 직접 원인인지는 분리되지 않았다.