웨어러블용 크로스모달 AI: 한 센서가 다른 센서를 학습할 때

웨어러블은 더 정확한 건강 모니터링을 요구하지만, PPG는 모션 아티팩트와 전력 부담에 취약하고 ACC는 안정적이지만 심혈관 정보를 직접 담지 못한다. ICASSP 2026에서 발표된 이 연구는 한 센서가 다른 센서의 표현을 학습하는 크로스모달 가상 센싱으로 이 간극을 메우려 했다.

핵심 구조는 하나의 경량 temporal encoder가 동기화된 센서 스트림에서 공통 잠재 표현을 배우는 방식이다.

• ACC → virtual PPG 재구성
• PPG → pseudo-motion embedding 생성
• modality-aware denoising
• 단일 모달리티 실시간 inference

실험은 132개 HIIT 워크아웃 로그와 3축 ACC, 4채널 PPG, ECG급 가슴형 장치의 심박 기준값으로 진행됐다. 스프린트와 회복이 빠르게 바뀌고 손목 움직임이 큰 환경이라, ACC만으로 심박을 추정하기가 특히 어려웠다.

attention-based refinement와 VAE 기반 보정은 잡음이 많은 모션 표현을 더 생리적으로 의미 있는 잠재 구조로 바꿨다. 목표는 원시 광학 신호를 그대로 복원하는 것이 아니라 심박 관련 latent physiological representation을 학습하는 데 있었고, 그 결과 ACC 단독 추정보다 큰 개선과 여러 설정에서 멀티모달 fusion에 근접한 성능을 보여줬다.