자동화된 정렬 연구원: LLM을 활용한 확장 가능한 감독(Scalable Oversight)의 확장

AI 모델의 발전 속도가 가속화되면서, 인간보다 똑똑한 모델을 어떻게 감독할 것인가 하는 확장 가능한 감독(Scalable Oversight) 문제가 핵심 과제로 떠오르고 있다. 특히 모델이 인간이 이해하기 힘든 수준의 복잡한 코드를 생성하기 시작하면, 모델이 의도대로 작동하는지 판단하기가 매우 어려워진다.

Anthropic은 이를 해결하기 위해 약한 모델에서 강한 모델로의 감독(Weak-to-strong supervision) 방식을 연구했다. 이는 상대적으로 약한 모델을 '교사'로 활용해, 더 강력한 '기본' 모델이 최적의 성능을 낼 수 있도록 미세 조정(Fine-tuning)하는 방식이다. 연구의 목표는 약한 모델의 피드백을 통해 강한 모델이 **성능 격차 회복(Performance Gap Recovered, PGR)**을 얼마나 달성하는지 측정하는 것이다.

연구팀은 **자동화된 정렬 연구원(Automated Alignment Researchers, AARs)**을 구축하여 Claude가 스스로 정렬 연구를 수행할 수 있는지 테스트했다. 9개의 Claude Opus 4.6 모델에 다음과 같은 도구를 부여하여 자율적인 연구 환경을 조성했다.

• 샌드박스(Sandbox): 모델이 사고하고 작업할 수 있는 공간
• 공유 포럼(Shared Forum): 연구 결과를 다른 모델과 공유하고 협업하는 공간
• 저장소(Storage): 작성한 코드를 업로드하는 시스템
• 원격 서버(Remote Server): 각 아이디어에 대한 PGR 점수를 받는 서버

AAR들은 각기 다른 초기 가이드를 바탕으로 스스로 아이디어를 제안하고, 실험을 설계하며, 결과를 분석하여 정렬 연구의 속도를 높이는 방법을 자율적으로 탐색한다.