수어 모델을 활용한 수어 주석 자동 생성

수어 영상과 영어를 입력으로 받아 gloss, fingerspelled word, sign classifier 후보와 시간 구간을 순위화하는 pseudo-annotation pipeline를 제안했다.

대규모 수어 데이터셋인 ASL STEM Wiki와 FLEURS-ASL는 수백 시간 규모지만 부분 주석만 남아 있어 충분히 활용되지 못했다. 파이프라인은 다음 신호를 결합해 주석 후보를 추정한다.

• fingerspelling recognizer의 희소 예측
• **isolated sign recognizer(ISR)**의 예측
• K-shot LLM을 이용한 보정

기준 모델도 함께 제시했다. FSBoard에서 6.7% CER, ASL Citizen에서 74% top-1 accuracy를 기록했으며, 전문 통역사가 ASL STEM Wiki의 약 500개 영상에 sequence-level gloss labels를 달아 gloss, classifier, fingerspelling이 포함된 gold-standard benchmark를 만들었다. 사람 주석과 300시간 이상의 pseudo-annotations는 보조 자료로 공개된다.