실시간 더빙을 향한 여정

실시간 더빙 기술의 가장 큰 난제는 문맥의 불확실성을 해결하는 것이다. 화자가 말을 이어가다 문장의 의미가 바뀌는 '가든 패스(Garden-path)' 문장의 경우, 초기 번역이 틀릴 수 있어 이를 수정하기 위한 백트래킹(Backtracking) 과정이 필요하다.

따라서 실시간 더빙은 **지연 시간(Latency)**과 정확도 사이의 균형을 맞추는 작업이다. 여기서 '실시간'이란 오디오를 지속적으로 스트리밍하여 번역된 콘텐츠를 즉시 돌려받는 서비스를 의미하며, 정확도를 높이기 위해 의도적으로 약간의 지연을 허용할 수 있다.

가장 유망한 상업적 활용 분야는 전 세계 시청자를 대상으로 하는 라이브 콘텐츠, 특히 스포츠 중계다. 스포츠 중계는 이미 방송 송출 과정에서 일정 수준의 지연이 발생하고 있어, 시청자들은 약간의 추가 지연에 익숙하다.

실제로 많은 제작자는 고품질의 현지어 더빙을 제공하기 위해 최대 20초 정도의 추가 지연을 수용할 의사가 있다고 밝히고 있다.