당근이 AWS CloudHSM으로 대규모 서명키 관리 시스템을 구축한 방법 – 3부: 서명 시스템 구현, 트러블슈팅, 무중단 키 전환

당근은 하루 6,500만 건 이상의 JWT 서명 요청을 처리하기 위해 AWS CloudHSM과 AWS KMS를 연동한 고가용성 서명 시스템을 구축했습니다. CloudHSM은 PKCS#11 표준 인터페이스를 사용하며, Go 환경에서 crypto11 라이브러리를 통해 세션 상태 관리와 키 핸들 캐싱을 효율적으로 처리합니다.

시스템의 안정성을 위해 TokenSigner 인터페이스를 통해 서명 백엔드를 추상화하고, Active-Standby 구조를 설계했습니다. 주요 구성 요소는 다음과 같습니다.

• HSMSigner (Active): CloudHSM PKCS#11 기반 서명 수행
• KMSSigner (Standby): AWS KMS API 기반 서명 수행
• LocalSigner (Standby): 기존 시스템 마이그레이션용

Dynamic Config를 활용해 서비스 재시작 없이 실시간으로 서명 가중치를 조절하거나 백엔드를 전환할 수 있습니다. 실제로 Istio 설정 이슈로 인한 레이턴시 급증 상황에서, 시스템은 자동으로 KMS 서명으로 전환(Failover)되어 사용자 영향 없이 서비스를 유지하는 성과를 거두었습니다.