Airbnb, Chronon에 Push Mode·NRT 기능 추가해 추천 데이터 지연 2일에서 1분 미만으로 단축

Airbnb이 오픈소스 feature 플랫폼 Chronon에 Push Mode와 Near-real-time (NRT) Model Transform 두 가지 기능을 추가하여 검색 결과의 실시간성을 대폭 개선했다. 기존 시스템은 JourneyFormer 기반의 sequence encoder가 nightly batch job으로 게스트 활동을 처리했으나, 스케줄링과 처리 지연으로 인해 최대 2일의 데이터 staleness가 발생했다.

핵심 기술 도입

새롭게 도입된 기능들은 배치 처리의 한계를 극복하기 위해 설계되었다.

• Push Mode: 스트리밍 잡이 새 feature value를 커밋할 때 경량 알림을 발행한다. 다운스트림 소비자가 폴링하지 않고 이벤트 기반으로 즉시 반응할 수 있어, 게스트의 최신 검색이나 목록 조회가 embedding 생성을 즉시 트리거한다.
• NRT Model Transform: 스트리밍 파이프라인 내에서 이미 배포된 모델(Transformer sequence encoder)의 추론을 실행한다. 이를 통해 training 로직 중복 없이 real-time pipeline에 인코더를 통합하고, 결과를 즉시 serving 가능한 feature로 기록한다.

성능 및 효과

통합 파이프라인은 게스트 활동 이벤트를 기존 장기/단기 시퀀스 데이터와 병합한 후, Push Mode로 신호를 보내 NRT Model Transform을 통해 fresh embedding을 생성한다. 이 과정은 다음과 같은 측정 가능한 개선을 가져왔다.

• Freshness: 데이터 유효성 지연(staleness)이 기존 약 2일에서 1분 미만으로 단축되었으며, 실제 업데이트는 활동 후 10~30초 내 반영된다.
• Quality: 오프라인 평가에서 daily-batch baseline 대비 NDCG가 +1.67% 향상되었다. 온라인 A/B 테스트에서는 취소되지 않은 예약(uncancelled bookings)이 약 0.33% 증가했다.

시사점

이번 업데이트는 '이벤트 반응 → 상태 병합 → 즉시 추론 → serving' 패턴이 freshness에 의존하는 다른 guest-facing 모델에도 일반화될 수 있음을 보여준다. Push Mode와 NRT Model Transform은 Airbnb 내부 전용이 아닌 Chronon 오픈소스 저장소에 공개된 일반 플랫폼 기능으로, 다른 near-real-time use case에도 재사용 가능하다.