pg_durable: Microsoft, 데이터베이스 내부에서 실행되는 durable execution 오픈 소스 공개

pg_durable는 PostgreSQL 내부에서 장기 실행되고 결함 허용(fault-tolerant)이 가능한 SQL 워크플로우를 구현할 수 있게 해주는 오픈 소스 도구입니다. 별도의 외부 인프라 없이 데이터와 컴퓨팅을 결합하여 워크플로우를 관리할 수 있습니다.

핵심 메커니즘은 **체크포인트(checkpointing)**입니다. SQL 단계별로 상태를 저장하여, 데이터베이스가 충돌하거나 재시작되더라도 마지막 성공 지점부터 실행을 재개합니다. 이를 통해 복잡한 상태 재구성 작업을 방지합니다.

주요 활용 분야:

• 벡터 임베딩 파이프라인: 데이터 청킹, 임베딩 API 호출, pgvector를 통한 데이터 삽입 과정을 자동화.
• 데이터 수집 및 변환: 대규모 배치의 중복 제거 및 변환 작업.
• 외부 API 연동: SQL 내에서 데이터 보강(enrichment)이나 웹훅 호출 수행.

기존에 Airflow, Temporal, Step Functions와 같은 외부 오케스트레이터를 사용하거나, pg_cron과 별도의 상태 테이블을 조합해 복잡하게 구현하던 작업을 PostgreSQL 내부로 통합하여 아키텍처를 단순화할 수 있습니다.