DAM-VLA: 동적 행동 모델 기반 로봇 조작용 비전-언어-행동 프레임워크

로봇 조작은 환경 변화에 강한 일반성과 특정 작업에서의 정밀도를 동시에 요구한다. 기존 specialist 정책인 ACT와 Diffusion Policy는 정밀하지만 범용성이 약했고, 최근 RT-2와 OpenVLA 같은 VLA 모델은 언어·시각 이해를 행동 예측으로 확장해 왔다.

DAM-VLA는 팔 움직임과 그리퍼 조작을 같은 방식으로 다루지 않고, VLM의 추론으로 행동 유형을 분기한 뒤 각 상황에 맞는 행동 모델을 호출한다. 논문은 팔 이동이 시야를 크게 차지하는 전역 과제인 반면, 그리퍼 조작은 작은 영역에 집중하는 국소 과제라는 점을 핵심 차이로 본다.

구성은 세 부분이다.

• VLM이 관찰 이미지와 언어 지시를 인코딩해 cognition latent와 reasoning latent를 만든다.
• Action routing module이 작업 맥락을 바탕으로 팔 이동용 모델과 그리퍼 조작용 모델 사이의 가중치 w를 만든다.
• Dynamic action model은 VLM의 고수준 인지 정보와 비전 토큰을 결합해 시간적 행동 시퀀스를 예측한다.

또한 dual-scale action weighting을 통해 trajectory 수준과 action-chunk 수준에서 두 행동 모델의 협력을 조절한다. 단순히 VLM과 행동 모델을 느슨하게 연결하는 방식이 아니라, VLM의 추론 능력을 이용해 어떤 행동을 어떤 모델로 처리할지까지 정교하게 결정하는 구조다.

성능 평가에서는 SIMPLER 시뮬레이션과 실제 pick-and-place 실험을 수행했다. SIMPLER의 Google robot에서는 VM과 VA 설정 모두에서 평균 성공률 83%, **81%**를 기록했고, WidowX robot에서는 VM 기준 평균 **71%**로 가장 높은 성능을 냈다.

특히 Open Drawer and Place Apple처럼 작업 특화성이 강한 과제와, 다양한 배경·조명·방해 요소가 추가되는 VA 환경에서 개선 폭이 컸다. 실제 환경에서도 CogACT보다 높은 성공률을 보였고, in-distribution과 out-of-distribution 모두에서 안정적으로 동작했다.

결과적으로 DAM-VLA는 VLM의 의미 이해와 특화 diffusion 기반 행동 모델을 동적으로 결합해, 동적 환경에서의 조작 정밀도와 일반화를 함께 끌어올리는 프레임워크로 제시된다.