AI Briefing#ai-inference
#ai-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
KV Cache 증가로 인한 메모리 병목을 해결하기 위해 HBM부터 NVMe SSD까지 계층형 구조를 활용해야 한다.
Qualcomm이 128GB 메모리와 870 TOPS 성능의 Cloud AI 100 Ultra 카드를 출시했다
TKCC가 영속 엔진으로 시작 시간을 9.0초로 줄여 실시간 추론 최적화를 실현했다.
Baseten이 Grid, Sandboxes, Loops를 출시해 추론 플랫폼 기능을 확장했다
Fireworks가 Forge에서 초고속 추론, Nexus, Sovereign을 공개했다
FuriosaAI가 6억 2,000만 달러를 유치해 RNGD 칩 양산을 확대한다.
Modular가 Mojo 1.0을 오픈소스로 공개하고 MAX 프레임워크의 소스를 공개했으며, Qualcomm 인수를 완료했다.
인텔이 32개 Xᵉ3P 코어와 256개 XMX 엔진을 갖춘 공랭식 PCIe 5.0 GPU D270을 공개했다.
입력 1M 토큰당 $0.042로 분류 및 라우팅 작업에 특화된 경량 결정 모델 제공
Rebellions가 외부 스위치 없이 256 소켓을 지원하는 Rebel100s 가속기 아키텍처를 공개했다.
Dotwave 엔진이 H100 하나로 56개 동시 음성 세션을 처리하며 비용을 98% 절감했다.
장문 컨텍스트와 RAG 확산으로 인한 AI 추론 메모리 병목을 해결하기 위해 HBM, Host DRAM, NVMe SSD를 활용한 계층형 아키텍처로의 전환이 필수적이다.
NVIDIA Vera Rubin NVL72가 MLPerf Inference v6.1에서 GB300 대비 최대 3.7배 처리량을 기록하며 선두에 올랐다.
AI 추론 수요 급증에 따라 Prefill과 Decode 단계로 워크로드를 분리하고, 메모리 병목을 해결하는 새로운 하드웨어 아키텍처와 양자화 기술이 부상하고 있다.
FuriosaAI가 싱가포르에 자회사를 설립해 RNGD AI 추론 플랫폼의 APAC 지역 상용 배포를 가속화한다.
d-Matrix가 NVIDIA NVLink Fusion을 채택해 차세대 Raptor XPU의 대규모 AI 팩토리 배포를 가속화한다.
Hugging Face가 207개의 최적화된 WebGPU 커널과 로더 라이브러리를 공개해 브라우저 기반 AI 추론 성능을 평균 2.57배 개선했다.
OpenAI의 자체 추론 칩 Jalapeño가 전력당 처리량과 지연 시간에서 기존 하드웨어 대비 우위를 입증했다.
OpenAI의 자체 추론 칩 Jalapeño가 전력 대비 성능과 지연 시간에서 기존 시스템을 크게 앞지른 것으로 확인됐다.
NVIDIA가 Groq 3 LPX 양산을 시작하며 Vera Rubin 플랫폼의 추론 속도를 대폭 끌어올렸다.
NVIDIA가 Groq 3 LPX 양산을 시작하며 Vera Rubin 기반 에이전트 추론 성능을 대폭 강화했다.