Claude의 ‘워터마크’가 글쓰기를 왜곡하는 방식

Anthropic이 Claude 모델에 도입할 예정인 텍스트 워터마크는 보이지 않는 문자를 삽입하는 방식이 아니라, 스테가노그래피(steganography) 기술을 활용한다.

핵심 작동 원리: 확률적 토큰 선택

• 모델이 다음 토큰을 생성할 때, 단어들을 '그린(green)' 리스트와 '레드(red)' 리스트로 실시간 분류한다.
• 워터마크를 심기 위해 모델은 레드 리스트보다 그린 리스트의 단어를 선택할 확률을 의도적으로 높게 설정한다.
• 이러한 미세한 확률적 편향이 텍스트 전체에 누적되면, 비밀 키를 가진 검출기가 이를 통계적으로 감지할 수 있다.

품질 저하 및 왜곡 우려

• Anthropic은 이 방식이 텍스트의 의미, 품질, 가독성을 변화시키지 않는다고 주장한다.
• 하지만 저자는 확률적 단어 선택 과정이 모델의 자연스러운 언어 선택을 방해하여, 필연적으로 텍스트의 의미와 품질을 왜곡할 수 있다고 지적한다.