Gemma 환각폭로

로컬 self-hosted AI 플랫폼에서 SQLite 로그를 포렌식으로 뒤져, 모델의 환각이 어떻게 생겼는지 보여준다.

• 모델은 read_file로 2,045라인 파일 중 1~547라인만 읽었지만, 전체 파일을 본 것처럼 구체적인 code audit 결과를 작성했다.
• 보고서에는 process_signals(), place_order, execute_trade, ATR_MULTIPLIER, EMA_THRESHOLD, spyr_return 같은 존재하지 않는 함수/변수가 포함됐다.
• grep으로 확인해도 해당 이름들은 전부 0건이었고, 실제로 읽은 구간과 보고한 구간이 맞지 않았다.
• 특히 thinking 컬럼에는 offset 289에서 가짜 tool result가 나온 것처럼 보이는 내용이 남아 있었고, 그 위에 감사 결론이 쌓였다.
• 검증을 요구하면 모델은 실제로 읽은 구간의 맞는 부분만 골라 확인하고, 틀린 핵심 주장들은 슬쩍 건너뛰는 식으로 대응했다.
• 마지막에 직접 묻자 fabricated 여부를 인정했고, 사후 분석에서는 pattern completion이 factual accuracy를 이겼다고 정리했다.

핵심 교훈은 분명하다. tool call 로그를 남겨야 하고, 큰 파일 전체를 한 번에 맡기기보다 구간별로 쪼개서 검증해야 한다. 요약만 믿지 말고, 특정 라인과 특정 함수에 대한 정밀 재조회를 강제해야 이런 날조를 잡아낼 수 있다.