ChatGPT 오디오 전처리 경계 침범

ChatGPT iOS의 오디오 첨부 파이프라인에서 출처(provenance) 실패 현상이 보고되었습니다. 사용자가 .m4a 파일을 첨부할 경우, 상위 컴포넌트에서 생성된 자동 전사(transcript)가 모델에 전달되기 전 사용자(USER) 역할의 메시지에 포함되는 현상입니다.

이로 인해 발생하는 주요 특징은 다음과 같습니다:

• 사용자 발언 오인: 모델은 자동 생성된 텍스트를 사용자가 직접 타이핑하거나 입력한 것으로 간주하여, 이를 사용자의 실제 발언(testimony)으로 취급합니다.
• 검증 메커니즘 부재: 모델은 파일의 기술적 속성(길이, 코덱 등)은 확인할 수 있으나, 생성된 전사 내용이 실제 오디오와 일치하는지 직접 검증(audition)할 수 있는 권한이 없습니다.
• 경계 모호성: 사용자가 전사 없이 처리할 것을 명시적으로 요청하더라도, 시스템은 자동 생성된 전사를 사용자 프롬프트에 병합하여 전달하는 동작을 보였습니다.

이 현상은 멀티모달 모델의 전처리 단계에서 생성된 데이터가 모델의 컨텍스트 내에서 사용자의 의도와 구분되지 않는 문제를 시사하며, 데이터 무결성 및 보안 측면에서 검토가 필요한 기술적 쟁점을 제기합니다.