AI Briefing#load-balancing
#load-balancing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#load-balancing와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Olla v0.1.0이 Hugging Face TEI 지원과 개선된 페일오버 기능을 추가했다.
Bifrost가 15개 이상 프로바이더와 1,000개 이상 모델을 묶는 OpenAI 호환 Gateway를 공개했다.
마이크로 배치 대신 글로벌 배치 단위의 로드 밸런싱을 적용해 MoE 모델의 성능과 전문가 특화 능력을 크게 향상시켰다.
Replit은 지연 시간 단축을 위해 전 세계로 인프라를 분산하고 클러스터 기반의 격리된 구조를 구축했다.
Replit은 지리적 라우팅 한계와 불균형한 부하 분산 문제를 해결하기 위해 자체 로드 밸런서를 구축했다.