RL 데이터 QC 기준

프런티어 랩이 RL 데이터에 요구하는 기준은 이제 '잘 만들었는가'가 아니라 검증 가능하게 만들었는가다. 장기 horizon RL이 늘면서 model-based QA 수요가 커졌고, 2026년의 외부 벤더는 랩 내부 QC 프레임워크를 사실상 그대로 통과해야 하며, 대부분은 여러 관문에서 탈락한다.

가장 먼저 필요한 것은 intake review다. 데이터셋이 애초에 eval 가능한지부터 확인하고, 다음 항목을 나눈다.

• verification spectrum: deterministic code grading(SWE-bench Verified)에서 LLM-judge rubric(HealthBench, FLASK, BiGGen Bench, Prometheus 2)까지, 아니면 SFT 데모로 내려야 하는지
• contamination resistance: GPQA, AIME, FrontierMath 같은 static set이 1년 안에 무력화되는지, canary와 rotation cadence, recovery story가 있는지
• pass@k와 분포: target model의 pass@1이 0이거나 난이도가 bimodal이면 학습할 gradient가 없는지
• rubric 구조: atomic/binary인지, compound/reward-hackable인지

이 단계에서 이미 많은 데이터가 걸러진다. 관문별 산출물과 감사 결과를 내지 못하면, 랩은 구매 전에 신뢰를 잃는다.

그다음은 active testing이다. 소규모 post-training과 ablation으로 reward hacking, sycophancy, forgetting을 미리 찾고, verifier 데이터라면 PASS/FAIL 재검수와 FP/FN 분리를 통해 검증기를 다시 본다. METR가 o3 시도 1-2%에서 exploit을 봤고, ImpossibleBench는 GPT-5가 impossible-SWEbench 변형에서 76%를 악용했다고 지적한 만큼, 이 단계는 선택이 아니라 필수다. alignment-faking까지 포함한 프로브를 돌려야 하며, 실패 롤아웃은 capability, prompt, scaffolding, rubric, training-data, orchestration, triangulation으로 분류해야 수정 방향이 잡힌다.

검증기 신뢰성은 숫자로도 확인돼야 한다. SWE-bench Verified Pro 패턴처럼 200 PASS와 200 FAIL을 다시 사람이 재검수하고 FP/FN을 따로 봐야 하며, OpenAI의 2026년 원본 SWE-bench 회고에서 감사 대상의 **59.4%**가 flawed test cases였다는 점이 그 바닥선을 보여준다. Tulu 3가 보여준 것처럼 forgetting은 per-skill로 봐야 하고, SFT continual post-training의 평균 손실이 -10.4%, on-policy RL이 -2.3% 수준이라는 차이도 training method 선택에 직접 영향을 준다.

원문은 여러 벤치마크의 빈틈도 짚는다. FrontierSWE는 검증은 강하지만 harness가 모델별이라 표면적 stratification이 약하고, ProgramBench와 GDPval은 현실성이 부족하다. Tau-Bench는 최종 정답만 보고 과정 평가를 놓치며, MMMLU는 contamination 방어가 약하다. DSBench는 verifier soundness를 건너뛰었고, Terminal-Bench 2.0은 짧은 과제 범위에 머문다.

반대로 BankerToolBench, LiveCodeBench Pro, SciCode는 각각 현실성, contamination 방어, verifier soundness의 일부를 잘 해결한다. 다만 어느 벤치마크도 모든 QC 항목을 한 번에 충족하지는 못하며, 이제는 문서화, rubric linter, verifier soundness audit, contamination report, cross-model eval, bootstrap CI, eval harness declaration 같은 table stakes를 갖추는 것 자체가 벤더의 출발점이 됐다.