AI Briefing#rdma
#rdma와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#rdma와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
M5 Ultra Mac Studio 4대 클러스터로 816B 파라미터 모델 추론 시 초당 36토큰을 달성했다.
BTB가 반복 프리픽스 버스트를 예측해 KV 캐시를 GPU HBM에 선제 복제한다.
AI GPU 클러스터에서 RoCEv2를 활용해 무손실 이더넷을 구현하고 최적의 네트워크 성능을 확보하는 방법을 다룬다.
AI 인프라 비즈니스의 성공을 위해서는 GPU, 네트워크, 스토리지 전반의 풀스택 최적화 역량이 필수적이다.
Hybrid-attention 모델의 작은 KVCache를 활용해 prefill을 데이터센터 밖으로 뺀다.
AWS의 ENI 구조와 할당 규칙을 이해해야 EFA 성능을 제대로 끌어낼 수 있다.