SOB, JSON값 정확도 검증
The Structured Output Benchmark (SOB) - validates both JSON parse and value accuracy
·2026.04.29 07:45
SOB가 JSON 스키마 통과율뿐 아니라 값 정확도까지 검증하는 새 벤치를 공개했다.
기존 구조화 출력 벤치마크가 JSON Schema 통과율과 타입만 보던 한계를 지적하고, 실제로 더 중요한 **값 정확도(Value Accuracy)**를 전면에 둔 평가를 제시했다.
- 7개 지표로 평가한다: Value Accuracy(주요 지표), JSON Pass Rate, Type Safety, Path Recall, Structure Coverage, Faithfulness, Perfect Response.
- 각 leaf value를 검증된 정답과 비교해 exact match로 채점하며, 잘못된 숫자나 순서 오류 같은 실제 실패를 잡아낸다.
- text / image / audio까지 포함하는 멀티모달 구조화 출력 성능을 비교한다.
결과적으로 대부분의 모델은 **JSON schema pass 90%+**를 기록했지만, 값 정확도에서는 큰 폭으로 떨어졌다.
전체 순위에서는 오픈소스 모델도 강세를 보였고, GLM 4.7이 GPT-5.4 바로 아래인 2위로 제시됐다.
세부 분석은 블로그, 리더보드, 논문 초안에서 공개됐다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.