AI BriefingOpus 환각률 급락
90 days of hallucination rates on the same 42 recurring tasks across Sonnet 4.6, Opus 4.6, and Gemini 3 Flash fallback, running inside a RunLobster-hosted agent. The bridgebench 83.3 to 68.3 drop on Opus lines up with what I've been seeing since late March.
핵심 내용
42개 반복 태스크 90일 추적에서 Opus 4.6 환각률이 급증했다.
자세히 보기
42개 반복 태스크를 90일 동안 같은 방식으로 돌리며, 모델별 환각률 변화를 기록했다.
운영 환경은 RunLobster-hosted agent였고, 라우팅은 Sonnet 4.6(기본), Opus 4.6(에스컬레이션), Gemini 3 Flash(rate-limit fallback) 순으로 이뤄졌다.
핵심 수치는 다음과 같다.
- Jan 15 ~ Feb 14: Sonnet 0.24, Opus 0.09, Gemini 0.31
- Feb 15 ~ Mar 14: Sonnet 0.27, Opus 0.11, Gemini 0.29
- Mar 15 ~ Mar 31: Sonnet 0.29, Opus 0.14, Gemini 0.28
- Apr 1 ~ Apr 13: Sonnet 0.31, Opus 0.38, Gemini 0.27
작성자는 Opus 4.6의 hallucinated-specific-per-briefing rate가 mid-March 이후 초반 April에 약 2.7배로 뛰었다고 봤다. 같은 시기 bridgebench도 83.3 → 68.3 변화를 보였고, 본인 로그와 방향이 같다고 지적했다.
실제 사례로는 다음 오류를 들었다.
- 존재하지 않는 CEO statement를 인용
- 잘못된 Series B 시점과 금액을 단정
- Stripe payout을 잘못 분류하고 고객명까지 지어냄
요지는 단순한 톤/판단 오류가 아니라, 출처로 즉시 검증 가능한 구체적 사실을 만들어내는 오류가 최근 두 주 이상 지속됐다는 점이다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
