추천sam3: 27만개 개념을 텍스트 하나로 영상까지 추적

짧은 텍스트 프롬프트 하나로 이미지와 영상 속 모든 객체 인스턴스를 탐지하고 분할한다. 기존 모델과 달리 특정 개념의 모든 개체를 빠짐없이 찾아내며, 27만 개의 고유 개념을 처리할 수 있는 확장성을 갖췄다.

텍스트뿐 아니라 점, 박스, 마스크 등 시각적 프롬프트를 조합해 정밀도를 높인다. 긍정적 예시와 부정적 예시를 함께 입력해 원하는 대상만 정확히 분리하는 방식이다. 정적 이미지 분할부터 동적 영상 추적까지 하나의 모델로 통합 처리한다.

새로운 SA-CO 벤치마크에서 인간 수준의 성능인 75~80%를 달성했다. 기존 벤치마크 대비 50배 이상 많은 개념을 다루며, 오픈 보캐뷸러리 프롬프트의 한계를 크게 넓혔다. Transformers 라이브러리와 호환되어 파이프라인 기반 추론이 가능하다.