더 빠른 그라운딩을 위한 NVIDIA의 LocateAnything

기존 **VLM(Vision-Language Model)**은 시각적 그라운딩과 탐지를 수행할 때 좌표를 토큰 단위로 하나씩 생성하는 자기회귀(Autoregressive) 방식을 사용했다. 이 방식은 박스의 기하학적 구조를 개별 토큰으로 분절하여 처리하기 때문에 추론 속도가 느리고 좌표 간의 일관성이 떨어지는 병목 현상이 발생한다.

NVIDIA는 이를 해결하기 위해 Parallel Box Decoding(PBD) 기반의 통합 프레임워크인 LocateAnything을 선보였다. PBD는 경계 상자(Bounding Box)나 점(Point)을 하나의 **원자 단위(Atomic Unit)**로 취급하여 단일 단계에서 전체 좌표 세트를 병렬로 예측한다. 이를 통해 박스 내부의 기하학적 일관성을 유지하면서 추론 처리량을 대폭 향상시켰다.

LocateAnything은 다음과 같은 세 가지 유연한 추론 모드를 제공한다:

• Fast Mode (MTP): 최대 처리량을 위해 박스를 병렬로 예측하며, 로보틱스나 온디바이스 환경에 적합하다.
• Slow Mode (NTP): 높은 안정성을 위해 좌표를 자기회귀 방식으로 디코딩하며, 정밀한 데이터 레이블링에 적합하다.
• Hybrid Mode: 기본적으로 Fast Mode를 사용하되, 형식 오류나 공간적 모호함이 감지되면 Slow Mode로 전환하여 정확도를 보장한다.

모델은 Moon-ViT 비전 인코더와 Qwen2.5 언어 디코더를 기반으로 구축되었으며, 이를 위해 1억 3,800만 개의 샘플과 7억 8,500만 개의 박스를 포함하는 대규모 데이터셋인 LocateAnything-Data를 구축하여 학습했다.