AI Briefing#cpu-inference
#cpu-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#cpu-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
KittenML이 CPU 추론용 Kitten TTS 2 Mini 등 3종 모델을 출시했다
balbal-v2-manas가 Mu-Bench TR에서 2위를 차지하며 Gemini와 ElevenLabs를 앞섰다.
AuroraIMG2-50M-Preview가 2016년 노트북 CPU에서 20스텝 11초 만에 이미지를 생성했다
Kitten-TTS 2가 CPU에서 실시간 추론이 가능한 1.58-bit 오픈소스 TTS 모델로 출시됐다.
webAI가 3.66B 파라미터의 형식 논리 모델 TwIL-LM3-Pro를 공개했다.
Sopro V2 Turbo 2610 업데이트로 클론 음성 품질이 개선됐으며 노트북 CPU에서 약 300ms 지연을 유지한다.
Supersonic Labs가 CPU 전용으로 실행되는 1억 4430만 매개변수 오픈소스 분류기 Julia-1을 공개했다.
llama.cpp PR이 VNNI 기반 tiled mul_mat으로 CPU 프롬프트 처리 속도를 3~7배 높인다.
Microsoft가 1-bit 가중치를 사용하는 BitNet b1.58 모델용 추론 프레임워크 bitnet.cpp를 공개했다.
Liquid AI가 CPU 환경에서도 빠른 장문 컨텍스트 처리가 가능한 LFM2.5 인코더 모델 2종을 출시했다.
저사양 CPU 환경에서 KV 캐시 재사용과 n-gram 아카이브를 통해 추론 효율을 극대화한 LLM 서버입니다.
llama.cpp의 ggml 라이브러리가 Ternary Bonsai 모델 지원을 위한 CPU용 Q2_0 양자화를 추가했습니다.
82M 파라미터의 경량 모델 Kokoro를 사용하여 CPU 환경에서도 고품질의 로컬 TTS를 구현하는 방법을 소개한다.
CPU 기반 LLM 추론 프레임워크 eLLM이 공개되어 긴 컨텍스트 작업에서 GPU 대비 높은 성능을 제공한다.
GCP의 5세대 Xeon(C4) 인스턴스가 이전 세대 대비 텍스트 임베딩 및 생성 성능에서 압도적인 효율성을 입증했다.
Intel Sapphire Rapids CPU와 Optimum Intel 라이브러리를 활용해 PyTorch Transformer 모델의 추론 성능을 최적화하는 방법을 다룬다.