멀티카메라 자가보정 homography

카메라 A가 대상을 놓쳐도 카메라 B의 관측으로 A의 위치를 예측하는 다중 카메라 추적 파이프라인이다.

• 두 카메라가 같은 사람을 동시에 볼 때 64차원 HSV appearance descriptor를 L2 정규화하고, **EMA(alpha=0.3)**로 매칭을 안정화한다.
• 양쪽 bbox의 bottom-center foot-point 대응을 쌓아두고, 4개 이상 쌍이 모이면 cv2.findHomography()와 RANSAC으로 3x3 homography H를 계산해 B→A 좌표 변환을 만든다.
• 5개 새 pair마다 재학습을 수행하고, reprojection error가 급증하면 카메라 이동으로 보고 H를 폐기한다.

예측 경로는 3단계다.

• H-PROJ: 유효한 homography가 있으면 가장 정확한 projection 경로를 사용한다.
• EXTRAP: homography가 없을 때 pixel extrapolation을 쓰며, 허용 오차는 min(250px, 80 + 40*t)로 조절한다.
• WORLD: fused 3D Kalman state에서 world-coordinate pinhole projection을 수행해 항상 예측 경로를 남긴다.

추적은 Hungarian assignment에 0.6 * IoU + 0.4 * cosine appearance cost를 사용하고, DeepSORT(MobileNet) 을 1차로 둔 뒤 Hungarian(scipy), centroid 순으로 폴백한다.

각 카메라는 consistency 기반으로 0.1~1.0 신뢰도를 얻으며, high-innovation measurement는 가중치를 낮춘다. Kalman의 measurement noise R도 confidence, bbox area, sensor trust에 따라 매 업데이트마다 조정한다.

구현체는 github.com/mandarwagh9/overwatch이며, 57개 unit test가 Kalman, homography, tracking을 커버하고 GitHub Actions CI를 사용한다. Homography 재추정은 0.1ms 미만, per-prediction projection은 0.001ms 미만으로 제시됐다.

제한점은 ground-plane homography가 고각의 elevated camera에서는 깨진다는 점이고, HSV 기반 Re-ID는 사람 구분력이 약하다는 점이다.