네이버클라우드, 목소리로 치매 조기 신호 탐지하는 두 가지 AI 연구 공개

네이버클라우드가 음성 분석을 통해 치매의 조기 신호를 감지하는 두 가지 AI 연구 성과를 공개했습니다. 이 연구들은 국제 음성 학회 Interspeech 2026에 채택되었으며, 서로 다른 접근 방식으로 기존 최고 성능을 넘어선 동일한 결과를 달성했습니다.

두 가지 접근 방식

첫 번째 연구인 「Listening Between the Lines」는 Whisper 음성 인식 모델의 내부 인코더에서 추출한 음향 정보와 LLM이 분석한 언어 정보를 결합하는 방식을 택했습니다. 음향 경로와 언어 경로를 분리한 뒤 게이트 융합(gated fusion) 네트워크로 두 신호를 합쳐 분류 정확도를 높였습니다.

두 번째 연구인 「LoRA-Tuned Large Language Models for Dementia Detection via Multi-View Speech-Derived Features」는 복잡한 결합 구조 없이 LLM 하나에 모든 판단을 맡기는 방식입니다. 전사 텍스트, 멈춤 표시, 발화 흐름 통계, 음소 시퀀스 등 네 가지 관점의 정보를 하나의 프롬프트로 구성해 Qwen3, Gemma3 계열 모델에 입력하고 LoRA 기법으로 학습했습니다.

성능 및 시사점

두 연구 모두 공개 데이터셋 ADReSSo 벤치마크에서 **F1 점수 90.14%**를 기록하며 기존 최고 기록인 87.32%를 경신했습니다. 연구 ①은 음향과 언어 정보의 융합이 성능을 각각 7.1%p, 14.1%p 끌어올렸음을 입증했으며, 연구 ②는 담화 수준의 주제 정보가 성능 향상에 가장 큰 기여(5.81%p)를 했음을 확인했습니다.

이 결과는 특정 모델 구조보다 '무엇을 말하는가'와 '어떻게 말하는가'를 함께 읽어내는 것이 핵심임을 시사합니다. 네이버클라우드는 이 기술을 CLOVA CareCall 서비스와 연계해, 전화 한 통으로 인지 건강 이상 신호를 포착하고 조기 진료로 연결하는 안전망 구축을 목표로 하고 있습니다.