OpenAI 호환 모델용 Jev 분류 래퍼 'Jevper' 공개, 자동 로그프롭스 감지 기능 탑재

OpenAI 호환 모델 위에서 Jev 분류를 수행하는 경량 래퍼 라이브러리 Jevper가 공개되었습니다. 이 도구는 TypeSafe AI의 System One wire format을 독립적으로 구현하여, TypeSafe API나 SDK 없이도 llama.cpp 등 다양한 백엔드와 호환되도록 설계되었습니다.

자동 로그프롭스 감지 및 최적화

핵심 변경사항은 method="auto"가 기본값으로 설정된 것입니다. Jevper는 제공자의 로그프롭스(logprobs) 지원 여부를 실시간으로 관찰하여 최적의 분류 방식을 자동으로 결정합니다.

• 판정 기준: 로그프롭스 필드를 요구하는 4xx 오류, 로그프롭스 부재 응답, 샘플링된 토큰만 포함된 응답을 감지하여 미지원으로 판정합니다. 5xx 오류는 일시적 문제로 간주해 캐싱하지 않습니다.
• 캐싱 및 비용: 판정 결과는 모델과 인터페이스별로 클라이언트에 캐싱되며, 첫 호출 시 1회(추론 모델은 2회)의 추가 비용이 발생합니다.
• 제한 사항: 로그프롭스 또는 문법(grammar) 기반 분류는 단일 토큰으로 26개 옵션까지 지원하며, 구조화된 JSON 방식은 최대 255개 옵션을 처리할 수 있습니다. 26개를 초과하면 로그프롭스 없이 JSON으로 응답합니다.

추론 모델 지원 및 오류 처리

추론(reasoning) 모델의 경우 ReasoningConfig(effort="medium") 설정 시, Responses 인터페이스에서는 네이티브 추론을, Chat Completions에서는 '생각 후 분류(think-then-classify)' 2단계 방식을 자동으로 적용합니다. 추론 과정은 response.reasoning에 저장됩니다.

• 오류 복구: 로그프롭스 읽기 실패 시(auto 모드) 자동으로 구조화된 JSON 방식으로 전환하며, 잘못된 답변(MalformedAnswer)에 대해서는 1회의 수정 재시도를 수행합니다.
• 재시도 정책: HTTP 429, 500, 502, 503, 504, 529 및 연결 오류에 대해 지수 백오프(exponential backoff)를 적용합니다.
• 의존성: 런타임 의존성은 pydantic뿐이며, openai 라이브러리는 테스트 전용으로 사용됩니다. Apache-2.0 라이선스로 배포됩니다.