AI Briefing#local-inference
#local-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#local-inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Edge0-145B가 노트북에서 80+ tokens/s 속도로 구동되며 클라우드 모델 대비 우위를 보였다
Block이 인간 오디오만으로 학습한 풀 듀플렉스 음성 모델 Dessa를 출시했다.
Cohere가 llama.cpp 지원으로 최신 모델 호환성을 완료하고 Transcribe의 Unsloth 파인튜닝을 가능하게 했다
OpenUI 1.0은 OpenUI Lang DSL로 토큰 사용량을 67% 줄이고 스트리밍 렌더링을 지원한다.
Hugging Face Transformers가 llama.cpp의 GGUF 포맷을 직접 실행할 수 있게 되어 Apple Silicon에서 로컬 추론이 간편해졌다.
FreeToken이 소비자 하드웨어에서 프런티어 MoE 모델을 인터랙티브 속도로 실행할 수 있는 엣지 네이티브 서빙 엔진을 공개했다.
Bad Theory Labs가 8.39GB 단일 파일로 구동되는 27B 오픈웨이트 에이전틱 코딩 모델 BTL-3를 Apache-2.0 라이선스로 출시했다.
Neuphonic이 7가지 감정을 제어할 수 있는 125M 파라미터 온디바이스 TTS 모델 NeuTTS-2E를 오픈소스로 공개했다.
전문가를 CPU에 배치하여 8GB VRAM 환경에서도 122B MoE 모델을 구동하는 InstinctRazor 기술이 공개되었다.
로컬 및 모바일 환경에서 강력한 성능을 발휘하는 차세대 컴퓨터 사용 에이전트 Holo3.1 시리즈가 출시되었다.
로컬 디바이스에서 고품질 이미지 생성을 가능하게 하는 초경량 1-bit 및 Ternary Bonsai Image 4B 모델이 출시되었다.
DeepSeek V4 Flash를 Metal에서 돌리는 전용 로컬 추론 엔진 ds4가 공개됐다.
AMD가 AI 에이전트의 지속적인 로컬 실행을 지원하는 '에이전트 컴퓨터'와 관련 하드웨어를 발표했다.