darwin-skill, 에이전트 스킬 최적화

darwin-skill은 여러 코딩 에이전트에서 사용하는 SKILL.md를 평가하고, 한 번에 한 가지 차원만 수정한 뒤 테스트로 검증하는 최적화 시스템이다. Andrej Karpathy의 autoresearch에서 영감을 받아 개선된 변경만 커밋으로 남기는 래칫 구조를 적용했다.

핵심 루프는 다음과 같다.

• 현재 스킬 평가
• AI가 한 가지 개선안 생성
• test-prompts.json으로 회귀 테스트
• 독립 서브에이전트 2개가 재평가
• 점수가 오르면 git commit, 하락하면 git revert
• 매 라운드 사람의 diff·점수 확인

darwin-skill 2.0은 Microsoft Research의 SkillLens와 SkillOpt 연구를 반영해 평가 기준을 9개 차원, 100점 만점으로 확장했다. 구조적 완성도뿐 아니라 실행 성능, 실패 메커니즘 인코딩, 실행 가능한 구체성, 파괴적 명령어 블랙리스트 등을 평가하며 실행 성능에 가장 높은 가중치를 둔다.

자기 평가 편향을 줄이기 위해 수정한 에이전트가 직접 채점하지 않고, 다음 라운드마다 새 심사자를 사용한다. 게시물은 SkillLens 인용 수치로 LLM 자기 평가 정확도가 **46.4%**에 그친다고 설명한다.

한 라운드의 개선 폭이 1점 미만이면 불필요한 문구 추가를 막기 위해 조기 종료한다. 공개 사례에서는 huashu-gpt-image 스킬 점수가 80.8점에서 91.65점으로 상승했다.