AI Briefing

SOB, JSON값 정확도 검증

The Structured Output Benchmark (SOB) - validates both JSON parse and value accuracy

·2026.04.29 07:45

핵심 내용

SOB가 JSON 스키마 통과율뿐 아니라 값 정확도까지 검증하는 새 벤치를 공개했다.

1 / 2

자세히 보기

기존 구조화 출력 벤치마크가 JSON Schema 통과율과 타입만 보던 한계를 지적하고, 실제로 더 중요한 **값 정확도(Value Accuracy)**를 전면에 둔 평가를 제시했다.

  • 7개 지표로 평가한다: Value Accuracy(주요 지표), JSON Pass Rate, Type Safety, Path Recall, Structure Coverage, Faithfulness, Perfect Response.
  • 각 leaf value를 검증된 정답과 비교해 exact match로 채점하며, 잘못된 숫자나 순서 오류 같은 실제 실패를 잡아낸다.
  • text / image / audio까지 포함하는 멀티모달 구조화 출력 성능을 비교한다.

결과적으로 대부분의 모델은 **JSON schema pass 90%+**를 기록했지만, 값 정확도에서는 큰 폭으로 떨어졌다.

전체 순위에서는 오픈소스 모델도 강세를 보였고, GLM 4.7이 GPT-5.4 바로 아래인 2위로 제시됐다.

세부 분석은 블로그, 리더보드, 논문 초안에서 공개됐다.

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.