AI Briefing

LLM 난수 편향으로 API 진위 검증

is your Claude API actually Claude? a paper shows you can verify it with ~200 tiny questions

·2026.07.22 16:03

LLM의 난수 선택 편향을 지문으로 활용해 API 엔드포인트가 실제로 표방한 모델을 서빙하는지 검증할 수 있다는 논문이 공개됐다.

arXiv 논문 **"One Token Is Enough"(2607.10252)**은 LLM이 난수를 균등하게 생성하지 못하는 특성을 모델 지문으로 활용하는 검증 방법을 제안한다.

균등 분포라면 엔트로피가 6.64bit여야 하지만, 실측 중앙값은 1.0bit 수준에 불과하다. 이 편향은 모델마다 안정적이고 모델 간 차이가 뚜렷해 식별자로 기능한다.

검증 방법:

  • 온도 1.0에서 숫자·색깔·동전 뒤집기 등 단어 단위 질문 배치를 전송
  • 출력 분포를 구축해 신뢰할 수 있는 레퍼런스와 JS divergence로 비교
  • 전체 설정 기준 EER 7.3%, AUC 0.971

OpenRouter에서 독점 플래그십 모델로 표시된 엔드포인트가 실제로는 Qwen3-235B를 서빙하고 있었다는 사례도 논문에서 제시됐다(지문 거리 ~0.141).

다만 논문은 편차가 곧 사기를 의미하지 않는다고 명시한다. 양자화, 숨겨진 시스템 프롬프트, 라우팅, 롤링 업그레이드도 거리를 벌릴 수 있어, "동작이 바뀌었는가"를 답하는 도구로 해석해야 한다.

브라우저에서 API 키를 로컬에 유지한 채 직접 실행할 수 있는 무료 도구도 공개됐다.

이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.

요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.