조기융합 승부

Falcon Perception은 이미지 패치와 텍스트를 하나의 시퀀스로 처리하는 0.6B-파라미터 early-fusion Transformer다.

핵심은 hybrid attention mask다. 이미지 토큰은 서로 양방향으로 보고, 텍스트·태스크 토큰은 앞선 토큰과 시각 프리픽스 전체를 보며 causal하게 생성한다. 덕분에 단일 백본으로 시각 인코더와 autoregressive 예측기를 함께 구현한다.

출력 인터페이스는 Chain-of-Perception으로 구성된다.

• <coord>: 대상의 중심 위치를 먼저 정한다.
• <size>: 이어서 크기를 예측한다.
• <seg>: 마지막에 세그멘테이션 임베딩을 만들어 업샘플된 이미지 특징과 dot product로 마스크를 복원한다.

좌표·크기 헤드는 Fourier feature로 연속값을 정밀하게 다루고, 분할은 별도 복잡한 query/Hungarian matching 없이 가볍게 처리한다.

평가용으로는 PBench도 함께 제안했다. 이 벤치는 샘플을 attributes, OCR-guided, spatial, relations, dense처럼 능력별로 나눠, 무엇이 부족한지 점수 하나가 아니라 프로필로 보게 만든다.

학습은 54M 이미지, 195M positive expressions, 488M hard negatives 규모로 진행했고, multi-teacher distillation으로 DINOv3와 SigLIP2의 장점을 함께 가져갔다. 이후 3단계 학습으로 인컨텍스트 listing, task alignment, long-context finetuning을 거치며 dense 장면과 presence calibration을 다듬었다.

결과적으로 SA-Co에서 68.0 Macro-F1을 기록해 SAM 3의 62.3을 앞섰고, PBench에서는 특히 OCR, spatial, relational, dense처럼 조합적 추론이 필요한 구간에서 격차가 크게 벌어졌다. 같은 글에서 함께 공개한 Falcon OCR은 0.3B 모델로 높은 처리량과 OCR 성능도 강조한다.