SkillOpt, 에이전트 스킬 최적화 방법론 공개

에이전트 빌더들이 관행적으로 수행하던 '마크다운 스킬 파일 편집' 과정을 공식화한 SkillOpt 연구가 발표되었다. 이 방법론은 프론티어 모델을 사용하여 마크다운 스킬 파일에 대한 제한된 편집(추가, 삭제, 교체)을 제안하고, 이를 검증 세트(validation set)를 통해 검증하여 성능이 향상된 경우에만 반영하는 방식이다.

주요 연구 결과는 다음과 같다:

• 최적의 편집 효율: 많은 제안 중 1~4개의 편집만 수락될 때 가장 좋은 스킬이 형성된다. 단계별 편집 예산은 4~8개가 가장 적합하며, 이를 초과하면 성능이 저하된다.
• 높은 전이성(Transferability): Codex에서 최적화된 스킬을 수정 없이 Claude Code로 전이했을 때, SpreadsheetBench에서 +59.7의 점수 상승을 기록했다.
• 경량 모델의 성능 향상: GPT 4.1 nano 모델에 최적화된 스킬을 적용한 결과, 절차적 벤치마크에서 프론티어 모델 수준의 성능을 보였다.

단, 이 방식은 정답이 명확한 **자동 채점기(auto grader)**가 필요한 코딩이나 스프레드시트 작업에는 효과적이지만, 정답이 없는 개방형(open-ended) 작업에는 적용하기 어렵다는 한계가 있다.