AI 인프라 비즈니스의 성공을 위해서는 GPU, 네트워크, 스토리지 전반의 풀스택 최적화 역량이 필수적이다.
kt cloud가 Multi-AZ 기반 이중화와 AI 개발 환경 최적화 등 클라우드 안정성을 위한 핵심 기술을 소개한다.
kt cloud는 장애 발생 시에도 서비스 연속성을 보장하기 위해 Multi-AZ 아키텍처를 설계하고 구현한다.
Kubernetes Ingress NGINX 지원 중단에 따라 차세대 표준인 Gateway API 도입이 권장된다.
AI 데이터센터는 GPU의 동기화된 전력 스파이크와 고밀도 발열에 맞춰 운영 방식을 바꿔야 한다.
kt cloud는 Multi-AZ를 가용성 기본 구조, Multi-Region을 DR 전략으로 설명했다.
kt cloud가 AI Portal, 보안관제, 장애관제 3사례의 구조와 성과를 공개했다.
Dell Pro Max GB10은 128GB 통합 메모리로 70B급 LLM을 로컬에서 실시간 구동했다.
Kubernetes v1.35가 In-Place Pod Resize를 GA로 전환하고 AI 스케줄링을 도입했다.
PVC를 먼저 확장한 뒤 StatefulSet을 Non-cascade로 재생성해 무중단 확장을 구현했다.
UPS가 버티는 사이 비상발전기와 Governor·AVR이 전원을 안정화한다.
WAAP로 WAF, API 보안, 봇 관리를 엣지에서 통합한다.
Robyn은 FastAPI보다 고부하에서 더 안정적이고 tail latency가 낮았다.
수도권 전력·망 병목을 벗어나 해안 랜딩 에지로 AI 인프라를 옮겨야 한다.
Claude Code는 대화형 AI가 아니라 Agent·Skill·Context로 움직이는 실행 구조다.
TopK·rerank·압축으로 RAG의 잡음을 줄여 답변 품질을 안정화한다.
ktcloud와 Azure를 전용선, SSO, 암호화로 묶어 데이터 주권과 AI 혁신을 함께 노린다.
AI를 개인 프롬프트가 아닌 팀 개발 아키텍처로 설계하는 방법을 정리했다.
정전이 없어도 Voltage Sag이 데이터센터 설비와 GPU 서버를 멈춘다.
GitOps 환경의 시크릿 문제를 Vault, ESO, CSI로 분리해 해결한다.
피지컬 AI 확산으로 AIDC 경쟁력은 GPU보다 검증·전력 운영이 좌우한다.
AI Briefing