Kimi Vendor Verifier - 추론 제공자의 정확성 검증

**Kimi Vendor Verifier(KVV)**는 오픈소스 모델을 각기 다른 인프라에서 서빙할 때 생길 수 있는 추론 구현 편차를 검증해, 모델 자체 한계와 엔지니어링 오류를 구분하려는 공개 도구다.

공식 API 기준으로 OCRBench 91.0, AIME2025 avg@32 98.4, MMMU Pro Vision 78.8을 공개했고, 각 평가의 Temperature, TopP, MaxTokens 설정과 K2VV 평가 결과 파일도 함께 제공한다.

커뮤니티에서 보고된 벤치마크 이상 징후를 조사한 결과, 상당수는 디코딩 파라미터 오용에서 비롯됐으며, Thinking 모드에서는 Temperature 1.0과 TopP 0.95를 강제하고 콘텐츠 재전달 검증을 적용한다.

검증 절차는 다음 순서로 구성된다.

• Pre-Verification 단계에서 API 파라미터 제약이 제대로 강제되는지 확인
• OCRBench로 멀티모달 파이프라인의 5분 스모크 테스트 수행
• MMMU Pro로 Vision 입력 전처리 점검
• AIME2025로 장문 출력과 KV cache 버그, 양자화 성능 저하 탐지
• K2VV ToolCall로 트리거 일관성과 JSON Schema 정확성 측정
• SWE-Bench로 agentic coding 테스트 수행

전체 워크플로는 NVIDIA H20 8-GPU 서버 두 대에서 순차 실행 기준 약 15시간이 걸리며, 스트리밍 추론, 자동 재시도, 체크포인트 재개 메커니즘을 포함한다.

또한 vLLM, SGLang, KTransformers 커뮤니티와 협업하고, 벤더가 스택을 조기에 검증할 수 있도록 공개 리더보드와 조기 접근 제공을 통해 정확성 우선 문화를 확산시키려 한다.