AI Briefing#kafka
#kafka와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#kafka와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
카카오페이 결제 분산락, 카카오워크 메시징 엔진의 Rust 전환 등 11개 기술 세션이 10월 24일 열린다.
MongoDB 자동 업그레이드, 카프카 Kraft 운영, 대용량 데이터 동기화 등 9개 세션 진행
카카오가 if(kakaoAI)2024 셋째 날에 AI, Backend, Cloud, Data 등 4개 분야 총 29개의 기술 세션을 공개했다.
올리브영 OMS 프로젝트에서 Kafka를 활용해 메시지 중복과 유실을 방지하고 고가용성을 확보한 사례를 공유한다.
Flink CDC 2.4.1 기반 MySQL 연동 시 단계별 카프카 토픽 분리와 DDL 보안 대응 로직을 적용했다.
카카오페이증권이 Kafka와 Debezium을 활용해 Oracle에서 MongoDB로 데이터를 실시간 전송하는 CDC 파이프라인을 구축했다.
Spring Batch와 Kafka를 도입하여 대용량 데이터 추출 시 발생하는 서버 부하와 사용자 대기 문제를 해결했다.
올리브영 외부 셀러 서비스가 비동기 처리와 서비스 분리를 통해 스파크성 트래픽으로부터 내부 시스템을 보호하는 아키텍처를 도입했다.
태깅 로직과 저장소를 분리하고 write buffer를 넣어 업데이트를 67% 줄였다.
카카오뱅크가 기존 Rule 기반 FDS의 한계를 극복하기 위해 ML 모델과 실시간 파이프라인을 도입했다.
올리브영이 DB 부하 분산과 MSA 전환을 위해 Redisson과 Kafka를 활용한 신규 재고 시스템을 구축했다.
광고추천팀의 실시간 데이터 처리 경험을 바탕으로 Exactly-Once 등 신뢰성 옵션 적용 사례를 소개했다.
올리브영 쿠폰 스쿼드가 기존 Redis Worker의 한계를 극복하기 위해 RabbitMQ를 도입하여 시스템 안정성과 확장성을 확보했다.
컬리가 TestContainers를 활용해 실제 환경과 유사한 통합 테스트를 자동화해 배포 안정성을 높였다.
컬리가 BigQuery 도입을 통해 데이터 로딩 시간을 30분에서 13초로 단축하고 비용 효율성을 개선했다.
컬리가 BigQuery 도입으로 기존 데이터 웨어하우스의 지연 시간과 스토리지 문제를 해결했다.
광고 로그의 지면별 필터링과 분기를 위해 개발된 커스텀 커넥트로, json 필터링과 샘플링 기능을 지원한다.
3명이 6개월간 개발해 4000개 Flow와 40PB 데이터를 성공적으로 이관했다.
Druid와 Kafka를 활용해 100개 이상 클러스터의 메트릭과 로그를 실시간 수집 및 시각화하는 체계를 구축했다.
카카오페이 주니어 개발자가 MongoDB 커넥션 풀 설정 중 발생한 로그 오염 문제를 발견하고 오픈소스에 기여한 경험을 공유한다.
컬리가 Kafka Batch Listener 적용으로 리밸런싱을 방지하고 검색 인덱싱 처리 속도를 크게 높였다.