DiscoSign: 담화 인식 텍스트를 수어 글로스 번역으로

기존 수어 처리 시스템은 문장 단위로만 작동하여 수어 이해에 필수적인 담화 현상을 무시해왔다. Apple 연구진은 언어학적 연구에 기반한 DiscoSign 프레임워크를 통해 텍스트를 수어 글로스(gloss)로 번역할 때의 문맥 인식을 도입했다.

이 접근법은 LLM(대규모 언어 모델) 기반의 모듈형 번역 프레임워크를 사용하며, 다음 세 가지 핵심 현상을 해결한다:

• 공간 지시어 해결: 담화 전체에서 엔티티가 일관된 공간 위치를 유지하도록 처리
• 질문-답변 절(QAC): 특정 담화 기능을 수행하는 유사분열 구조 처리
• 개념-글로스 일관성: 영어 개념과 미국 수어(ASL) 표기 간의 안정적 매핑 보장

기존 번역 지표는 담화 수준의 품질을 평가하지 못하므로, 연구진은 각 차원의 담화 응집력을 평가하기 위한 새로운 평가 지표 세트를 도입했다. 실험 결과, DiscoSign은 문장 단위 번역 대비 공간 일관성과 엔티티 추적 성능을 유의미하게 개선하면서도, 단일 문장 글로스 번역 품질은 경쟁력 있게 유지했다. 이번 연구는 담화 수준 텍스트-수어 글로스 번역을 위한 최초의 체계적 프레임워크와 평가 방법을 제시한다.