Kimi Vendor Verifier – 추론 제공자의 정확성 검증

Kimi K2.6와 함께 Kimi Vendor Verifier(KVV) 를 오픈소스로 공개했다. 목표는 오픈소스 모델이 어디서나 동일하게 정확히 실행되는지 검증하는 것이다.

Kimi는 K2 Thinking 이후 벤치마크 이상 사례를 조사했고, 상당수가 decoding 파라미터 오용에서 비롯됐다고 밝혔다. 이를 막기 위해 Thinking mode에서는 Temperature=1.0, TopP=0.95 를 강제하고, thinking content가 올바르게 반환되는지 검증하도록 API 단에서 방어 장치를 넣었다.

이후에는 더 미묘한 이상도 발견했다. LiveBenchmark의 특정 평가에서 third-party API와 official API 결과가 크게 달랐고, 여러 인프라 제공자를 테스트한 결과 이런 차이가 광범위하다고 설명했다. Kimi는 이를 오픈소스 생태계의 신뢰 문제로 보고, “모델 성능 결함”과 “구현 편차”를 구분할 수 있어야 한다고 강조했다.

KVV가 제시하는 핵심 검증 항목은 다음과 같다.

• Pre-Verification: temperature, top_p 등 API 파라미터 제약이 제대로 강제되는지 확인
• OCRBench: 멀티모달 파이프라인용 5분 스모크 테스트
• MMMU Pro: 다양한 시각 입력으로 vision 전처리 검증
• AIME2025: 긴 출력 스트레스 테스트로 KV cache 버그와 양자화 저하 탐지
• K2VV ToolCall: trigger consistency(F1)와 JSON Schema 정확도 측정
• SWE-Bench: 에이전트 코딩 테스트, 다만 sandbox 의존성 때문에 비공개

운영 측면에서는 vLLM, SGLang, KTransformers 커뮤니티와 함께 원인 자체를 고치는 방향을 지향하고, 벤더가 출시 전에 스택을 검증할 수 있도록 pre-release validation 을 제공한다. 또한 벤더 결과를 모아 공개 leaderboard 를 유지하겠다고 밝혔다.

평가 비용은 NVIDIA H20 8-GPU 서버 2대에서 전체 워크플로를 검증했으며, 순차 실행 기준 약 15시간이 걸렸다. 장시간 추론을 위해 streaming inference, automatic retry, checkpoint resumption 스크립트도 최적화했다.