AI Briefing#ai-inference
#ai-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#ai-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
5G RAN의 실시간 제약을 충족하기 위해 AVX-512 SIMD 최적화 코드를 자동 생성하는 AI 추론 컴파일러를 개발했다.
고비용 AI 추론 자원을 무단으로 사용하거나 재판매하는 '추론 탈취' 공격에 대응하기 위해 매 요청마다 검증을 수행하는 보안 전략이 필수적이다.
DeepSeek가 V4-Pro API의 75% 할인된 가격을 영구적인 공식 가격으로 확정했다.
AI 추론 비용의 급락은 소프트웨어가 주도하고 있으며, 로컬 오픈 모델이 프론티어 모델의 성능을 빠르게 추격하고 있다.
DigitalOcean이 추론·에이전트용 AI 네이티브 클라우드를 공개했다.
Google이 Broadcom 외에 Marvell까지 더해 AI inference 칩 공급망을 넓힌다.
유휴 Apple Silicon Mac을 활용해 비용을 70% 절감하는 분산형 AI 추론 네트워크 Darkbloom이 출시되었다.
LG U+와 FuriosaAI가 국산 모델·플랫폼·AI silicon을 묶은 온프레미스 inference 서버를 공개했다.
4칩렛 AI SoC가 16Gbps UCIe-Advanced로 풀칩 mesh를 구현한다.
FuriosaAI가 기존 데이터 센터 인프라에 최적화된 AI 추론용 turnkey 솔루션 'NXT RNGD 서버'를 공개했다.
리벨리온이 FlashAttention 등을 NPU에 최적화하여 vLLM과 호환되는 고효율 LLM 서빙 기술을 공개했다.
Stability AI가 NVIDIA와 협력해 Stable Diffusion 3.5 NIM을 출시하며 기업용 모델 배포 속도와 효율성을 대폭 개선했다.
FuriosaAI의 AI 추론 칩 RNGD가 Llama 3.1 모델에서 압도적인 처리량과 전력 효율성을 입증했다.