LLMTraceFX, 캐시 히트가 연산 생략을 증명하지 못함을 검증하는 독립 오디터 도입

LLMTraceFX는 **캐시 히트(cache hit)**가 실제 연산 생략을 증명하지 못한다는 문제를 해결하기 위해 독립적인 검증 오디터를 도입했다. 기존 엔진의 자체 보고는 신뢰할 수 없으므로, independent oracle, observed prompt work, output identity, evaluator correctness, checksum-bound evidence 등 5가지 차원에서 엔진의 attestation을 검증한다.

검증 결과 및 분류

10개 케이스에 대한 deterministic synthetic token-level control 테스트 결과, 모든 케이스에서 output identity와 evaluator가 통과했으며 attestation이 일치했다.

• exact-reuse: 9개 토큰 중 8개 재사용, 1개 prompt work로 verified_hit 기록
• partial-reuse: 유사성 기반 재사용 경계를 명확히 분류
• verified-miss: 후보 부재, ID 불일치, namespace isolation 등으로 0개 재사용, 9개 prompt work 기록
• eviction: capacity-pressure와 revisit 시나리오에서 evicted 판정

이 결과는 토큰 수의 일치가 토큰 정체성의 일치를 의미하지 않음을 입증하며, 재사용 경계가 유사성이 아닌 prefix identity에 기반함을 보여준다.

검증 한계 및 보안 강화

본 검증은 deterministic synthetic control 환경에서 수행되었으므로, MLX/vLLM speedup, production cache correctness, GPU performance, latency reduction 등은 증명하지 않는다. 또한 block-level cache behavior는 token granularity 기준이므로 해당되지 않는다.

보안 측면에서는 standalone auditor의 TOCTOU(Time-of-Check to Time-of-Use) 위험을 발견하고, 실행 전 O_EXCL semantics를 적용한 private verified script 생성 방식으로 수정했다. 최종 PR #74는 4,499개 테스트 통과와 6-job matrix 빌드 검증을 완료했다.