AI Briefing#hadoop
#hadoop와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#hadoop와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LY Corporation이 서로 다른 아키텍처를 가진 1EB 규모의 HDFS 클러스터를 통합하며 겪은 운영 및 설계 과제를 다룬다.
새 플랫폼 없이 기존 Hadoop 환경에 스킬과 컨텍스트 문서를 접목해 분석 절차를 자동화했다.
현대오토에버가 Amazon Bedrock과 LangGraph로 장애 대응 자동화 에이전트를 구축했다.
SK플래닛이 기존 배치 처리의 지연 문제를 해결하기 위해 Kafka와 Spark Streaming을 결합한 실시간 데이터 파이프라인 서비스 'Router'를 개발했다.
SK플래닛이 오픈소스 Trino를 전사 데이터 분석 엔진으로 도입해 데이터 입수 지연을 해소하고 실시간 분석 환경을 구축했다.
3명이 6개월간 개발해 4000개 Flow와 40PB 데이터를 성공적으로 이관했다.
상용 솔루션의 한계를 극복하기 위해 자체 개발한 Ruby 기반 모니터링 코드와 알림 관리 기능을 상세히 소개했다.
외부 솔루션 비용과 기능 제약 문제를 해결하기 위해 5개 구성 요소로 자체 개발·운영 중이다.
Apache Bigtop 대신 자체 개발한 khp-package로 하둡 컴포넌트 호환성 검증 및 배포 자동화를 수행한다.
카카오 겨울 인턴십 설명회 내용을 바탕으로 DB 및 하둡 엔지니어링 직무의 업무 범위와 채용 기준을 정리했다.
카카오 하둡엔지니어링파트 엔지니어가 42 Seoul 카뎃을 대상으로 데이터 직무의 역할과 필요 역량을 공유하는 스몰톡을 개최했다.
실시간 분류, Airflow 2.0, PostgreSQL 등 6개 기술 세션이 Day2에서 발표된다.
카카오가 if(kakao)2021 컨퍼런스에서 클라우드 네이티브 전환, 9rum 포털 통합, Hadoop 마이그레이션, Kubernetes Live Upgrade API 등 7개 기술 세션을 공개한다.