AI21 Studio에서 제로부터 프로덕션까지

AI21 Studio는 AG News 뉴스 분류 사례로 Jurassic-1의 프롬프트 엔지니어링과 커스텀 모델을 비교했다. 제목과 요약을 보고 4개 주제 중 하나를 고르는 작업을 기준으로, 먼저 zero-shot과 few-shot 프롬프트를 실험했다.

zero-shot에서는 J1-Large가 32%, J1-Jumbo가 56.9% 정확도를 냈다. 여기에 정답 예시를 늘리자 성능이 크게 올라, 16개 예시를 넣은 J1-Jumbo 프롬프트는 테스트셋 정확도 **86%**를 기록했다.

하지만 프롬프트가 길어질수록 매 요청마다 모든 예시를 다시 읽어야 해 지연, 전력, 비용이 늘었다. 2048 토큰 입력 한계도 있어 긴 기사 본문이나 더 많은 클래스를 다루는 작업에는 확장성이 떨어졌다.

대안으로 제시된 커스텀 모델은 소량의 정답 데이터만으로 학습할 수 있었고, 시작점으로 50~100개 예시를 권장했다. 학습된 모델은 AI21 Studio에서 즉시 서빙돼 API 호출하듯 바로 사용할 수 있으며, 10개 예시만으로도 J1-Large 수준에 근접했고 80개 예시에서는 J1-Jumbo의 few-shot 성능을 넘어섰다.

속도 차이도 컸다. 일반 모델이 16개 예시 프롬프트를 처리할 때는 약 250ms가 걸렸지만, 커스텀 모델은 50ms 미만으로 응답해 5배 이상 빨랐다.

보안에서도 차이가 뚜렷했다. 프롬프트 인젝션 공격에서 악성 문구가 2회 이상 반복되면 프롬프트 엔지니어링 방식의 출력 절반이 독성이 됐고, 3회 이상 반복하면 사실상 모두 독성 출력으로 바뀌었다. 커스텀 모델은 4회 이상 반복해야 공격이 통했고, 성공 확률도 더 낮았다.

결국 AI21 Studio는 커스텀 모델이 정확도, 비용, 지연, 안전성의 균형을 더 쉽게 만들어 프로덕션 배포에 유리하다고 정리했다.