AI Briefing#latency
#latency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#latency와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Anthropic의 message threads 베타가 Claude Code의 첫 토큰 도달 시간을 35% 단축했다
음성 에이전트가 2분 이상 대화에서 챗봇보다 성공률 31.7% 높게 나타났다
Claude 메시지 스레드가 50만~100만 토큰 요청의 중간 TTFT를 35% 줄였다
Vercel Sandbox 생성 시 snapshot 복원 완료 후 반환해 첫 작업 대기 시간을 없앴다.
Vercel이 Sandbox 도메인 조회 지연 시간을 62ms에서 3.4ms로 18배 단축했다.
6G 유즈 플레인은 기존 계층 구조를 단순화하고 지능형 처리를 도입해 지연 시간과 에너지 효율을 극대화할 것이다.
AI Gateway가 모델별로 낮은 지연 시간과 높은 처리량을 제공하는 통합 Fast Mode를 베타 버전으로 출시했다.
AI 에이전트 시스템의 모델 라우팅은 모델 선택 문제가 아니라 캐싱, 인프라, 규정을 포함한 시스템 최적화 문제다.
AI Gateway가 제공자를 비용, TTFT, TPS 기준으로 정렬하는 sort 옵션을 추가했다.
WebSocket mode로 Responses API의 agentic workflow를 최대 40% 빠르게 했다.
Zo Computer는 Vercel의 AI SDK와 AI Gateway로 재시도율을 20배 낮췄다.
수도권 전력·망 병목을 벗어나 해안 랜딩 에지로 AI 인프라를 옮겨야 한다.
ElevenLabs가 멀티 리전 서빙을 도입해 전 세계 TTS API 지연 시간을 최대 40% 단축했다.