AI Briefing#latency-optimization
#latency-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#latency-optimization와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
OpenAI Habitat가 10억 명 사용자에게 10ms 레이턴시를 제공하며 12배 성능을 개선했다
OpenAI가 GPT-6 Luna 기반 Decisions API를 정식 출시했다.
Vercel이 Shard 기반 그룹 Fetching 도입으로 CDN 메타데이터 조회 P99 지연을 91% 줄이고 빌드 속도를 개선했다.
Cloudflare는 Automatic Key Exchange 도입 과정에서 스캔된 Origin 연결의 p90 핸드셰이크 지연이 150ms 이상 줄었고, 해당 집합의 PQ 트래픽이 일 250억 연결에서 450억 연결로 증가했다고 밝혔다.
KDDI가 Google Cloud 기반 Buffmee RAG 앱의 응답 지연을 38% 줄이고 평가 체계를 자동화했다.
RAG는 외부 지식 검색으로 LLM의 환각을 줄이지만 지연 시간 등 한계가 존재하며, ElevenLabs는 모델 레이싱으로 이를 개선했다.
AI 에이전트 지연 시간을 줄이기 위한 진단 및 최적화 전략을 제시한다.
Qwen3-TTS를 최적화해 단일 H100에서 50ms 미만 지연과 10 RPS 처리 성능을 달성했다.
효율적인 AI 에이전트를 위한 모델 라우팅은 단순 분류가 아닌 비용, 복잡도, 지연시간을 고려한 시스템 최적화 문제다.
Meta는 sched_ext 프레임워크를 활용해 광고 워크로드에 최적화된 커널 스케줄러를 구축하여 지연 시간을 28% 줄이고 전력 효율을 높였다.
보이스 에이전트의 응답 속도를 결정하는 TTFA를 줄이기 위해 파이프라인 단계별 지연 시간을 측정하고 최적화하는 방법을 다룬다.
대화형 AI의 자연스러운 상호작용을 위해 TTS 파이프라인 최적화로 응답 지연 시간을 줄이는 것이 필수적이다.
대화형 AI의 몰입감을 결정하는 지연 시간을 줄이기 위해 ASR, TTI, LLM 등 각 단계의 지연 시간을 통합적으로 관리해야 한다.