추천Qwen-VLA: 세상을 이해하는 것을 넘어 직접 행동하기까지

기존 멀티모달 LLM은 이미지와 비디오를 이해하고 추론하는 데는 능숙하지만, 물리적 세계에서 직접 과업을 수행하는 Embodied Intelligence(체화된 지능) 단계에는 도달하지 못했다. Qwen-VLA는 시각적 인지, 언어 이해, 공간 추론 능력을 연속적인 Action Generation(동작 생성) 및 경로 예측으로 확장하여, 모델이 보고 생각하는 것을 넘어 직접 행동할 수 있게 만든 범용 Vision-Language-Action(VLA) 모델이다.

Qwen-VLA는 특정 작업에 특화된 기존 방식과 달리, 로봇 조작(Manipulation), 시각-언어 내비게이션(VLN), 그리고 다양한 로봇 플랫폼을 지원하는 통합 프레임워크를 제공한다. Qwen 멀티모달 백본이 시각 및 언어 입력을 처리하면, Action Decoder가 이를 바탕으로 연속적인 동작을 생성한다.

모델의 학습은 언어적 사전 지식에서 폐루프(Closed-loop) 제어까지 총 4단계의 정교한 파이프라인을 거친다.

• Stage I: T2A (Text-to-Action): 이미지를 배제한 상태에서 언어와 임보디먼트 프롬프트만으로 동작 구조를 학습한다.
• Stage II: CPT (Continual Pretraining): VLM과 Action Decoder를 공동 학습시켜 언어-동작 사전 지식을 실제 시각적 환경에 결합한다.
• Stage III: SFT (Supervised Fine-Tuning): 멀티태스크 또는 실제 로봇 데이터를 활용해 미세 조정한다.
• Stage IV: RL (Reinforcement Learning): PPO를 통해 폐루프 작업 성공률을 직접 최적화한다.

학습 데이터로는 1만 시간 이상의 공개 로봇 궤적, 800만 개 이상의 합성 시뮬레이션 데이터, 그리고 Ego4D와 같은 인간 1인칭 시점(Egocentric) 데이터 등 방대한 양의 멀티모달 데이터를 활용하여 다양한 환경과 작업에 대한 범용성을 확보했다.