AWS OpenSearch 기반 EFK Stack 구축기
·2024.04.03 02:00
올리브영이 대규모 재고 데이터의 정합성 확보와 확장성을 위해 AWS OpenSearch와 EFK Stack을 활용한 로그 시스템을 구축했다.
올리브영 인벤토리 스쿼드는 하루 최소 천만 건 이상 발생하는 대규모 재고 변경 이력을 효율적으로 관리하기 위해 OpenSearch + EFK(FluentBit, Elasticsearch/OpenSearch, Kibana) 스택을 도입했다.
기존에 사용 중인 Datadog이 있음에도 별도의 시스템을 구축한 이유는 다음과 같다.
- 커스터마이징: 특정 요구 사항에 맞춘 유연한 로그 데이터 구성 및 분석 가능
- 비용 효율성: Index Lifecycle Management를 통한 데이터 수명 주기 관리 및 비용 최적화
- 확장성: Rest API 지원을 통해 변경 이력 조회 API 서비스로의 확장 가능성 확보
구축 과정에서는 AWS ECS Fargate 환경에서 Firelens sidecar pattern을 사용했다. FluentBit 컨테이너를 사이드카로 배치하여 앱 컨테이너의 로그 중 재고 관련 로그만 특정하여 OpenSearch로 라우팅하도록 설계했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.