AI Briefing#data-engineering
#data-engineering와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#data-engineering와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
데이터 에이전트가 데이터 웨어하우스를 정확하게 쿼리하도록 돕는 오픈소스 컨텍스트 레이어 Ktx를 공개했습니다.
Replit과 Databricks의 통합으로 기업은 데이터 거버넌스를 유지하며 데이터 애플리케이션을 신속하게 구축할 수 있게 되었다.
T Academy가 AI 활용 데이터 엔지니어 2기 교육생을 2월 1일까지 모집한다.
당근은 사용자 활성화 지표의 일관성과 신뢰성을 확보하기 위해 조직 차원의 공유 데이터 레이어를 구축했다.
당근은 데이터 신뢰성과 운영 효율을 높이기 위해 User Activation을 전사 공통 데이터 레이어로 구축했다.
수백 개 테이블의 대용량 정합성 검사를 위해 MySQL 스캔 모드별 튜닝, Iceberg 유지 관리, 캐싱 및 로컬 모드 최적화 등을 적용한 카카오의 Spark 잡 개발 사례
PyArrow와 Pandas에 Parquet CDC 기능이 추가되어 Hugging Face Hub의 데이터 전송 및 저장 효율이 개선된다.
서버 로그 Iceberg APPEND 적재 테스트에서 zstd 레벨 9 적용 시 ORC 대비 파일 크기가 51.4% 감소했다.
DB 및 서버 로그 관리에 Apache Iceberg를 도입하며 얻은 운영 경험과 인사이트를 공유한다.
Flink CDC를 Iceberg에 직접 적재해 카프카 대비 처리율을 3배 높이고, 컴팩션으로 조회 성능을 유지하는 운영 전략을 공개했다.
Flink CDC와 Apache Iceberg 통합 시 분할 테이블 처리 및 커밋 충돌 해결 방안을 공개했다.
MongoDB 자동 업그레이드, 카프카 Kraft 운영, 대용량 데이터 동기화 등 9개 세션 진행
Hugging Face가 대규모 데이터셋 효율성을 위해 Parquet 파일의 중복 제거 문제를 분석하고 개선 방안을 제시했다.
카카오가 Flink CDC를 활용해 DB 부하를 줄이고 실시간 데이터 일관성을 확보한 프로덕션 구현 사례를 공개했다.
Replit은 방대한 코드와 실행 데이터를 분석해 사용자 니즈를 파악하고 AI 모델을 학습시키는 인프라를 구축했다.