Garry Tan의 "Skillify" — AI 에이전트의 실패를 영구적 구조 수정으로 바꾸는 방법론

Y Combinator 대표 Garry Tan은 AI 에이전트의 품질 관리를 위한 방법론인 **"Skillify"**를 제안한다. LangChain과 같은 기존 프레임워크가 테스트 도구는 제공하지만, "무엇을 어떤 순서로 테스트할 것인가"에 대한 워크플로가 부족하다는 문제의식에서 출발한다.

Skillify는 에이전트의 실패를 단순한 프롬프트 수정으로 대응하는 대신, 마크다운 절차서, 결정론적 스크립트, 자동화 테스트가 결합된 영구적인 '스킬'로 변환하는 과정을 의미한다.

핵심 설계 원칙은 다음과 같다:

• Latent vs. Deterministic 분리: LLM의 추론이 필요한 영역(Latent)과 코드 실행이 필요한 정밀 영역(Deterministic)을 명확히 구분한다. 타임존 계산처럼 코드로 즉시 해결 가능한 작업을 LLM이 추론하게 두는 것을 주요 버그로 규정한다.
• 10단계 검증 프로세스: SKILL.md 작성, 유닛 테스트(vitest), 통합 테스트, LLM-as-judge 평가, E2E 스모크 테스트 등 엄격한 단계를 통과해야 스킬로 인정된다.
• 워크플로 중심: 프레임워크가 '헬스장 회원권'이라면, Skillify는 구체적인 '운동 루틴'에 해당한다.

에이전트 스킬 역시 소프트웨어 코드와 마찬가지로 테스트 없이는 부패하며, 시스템 규모가 커질수록 스킬의 발견 가능성(discoverability) 관리가 핵심 과제가 될 것이라고 강조한다.