Vercel, Python용 AI SDK에 범용 분류기 Jev 지원 실험적 API 공개

Vercel Python 팀이 AI SDK for Python의 최신 버전을 공개하며, 새로운 AI 모델 클래스인 Jev와 연동하기 위한 실험적 evaluate() API를 도입했습니다. Jev는 데이터와 객관식 질문을 입력받아 생성된 텍스트가 아닌 신뢰도 점수가 포함된 구조화된 JSON 응답을 반환하는 범용 분류기입니다. 이 방식은 대규모 언어 모델의 광범위한 학습을 활용하되, 좁은 범위의 의사결정 작업에서 속도와 비용을 최적화합니다.

Jev의 작동 방식

전통적인 분류기와 달리 Jev는 도메인 특화 학습 데이터 없이 사전 학습된 LLM 가중치를 사용하여 입력을 분류합니다. API는 모델, 상태(문자열 또는 JSON), 질문 세트를 인자로 받는 단일 함수 **evaluate()**를 중심으로 설계되었습니다. 질문은 ChoiceQuestion(단일 답변 선택), ScoreQuestion(척도 평가), NoulQuestion(확률 추정)으로 정의할 수 있습니다.

실제 실험

Jev의 기능을 검증하기 위해 두 가지 실험이 진행되었습니다:

• 언어 분류: REPL 환경에서 영어와 Python 코드를 구분하는 능력을 테스트했습니다. Jev는 자체 학습된 분류기보다 성능이 좋았지만, 부분 표현과 같은 모호한 입력에서는 여전히 어려움을 겪었습니다.
• 코드 생성: Jev를 사용해 문자나 단어를 선택해 Python 코드를 작성하는 시도는 비효율적이었습니다. 저자는 대신 LLM(GPT-5.6)으로 코드 구조를 계획한 후, Jev를 유도해 Python 추상 구문 트리(AST)를 노드 단위로 구축했습니다. 이 방법은 문법적으로 유효하지만 종종 오류가 있는 코드를 생성하여, 생성형 작업에 분류기를 사용하는 것의 어려움을 드러냈습니다.

이용 방법

개발자는 uv add ai 명령어로 SDK를 설치하고 AI Gateway API 키를 설정하여 Jev에 접근할 수 있습니다. 실험 내용과 소스 코드는 GitHub에서 확인할 수 있습니다.