#inference

#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

Qwen3.6 핵심옵션

Qwen3.6에 preserve_thinking이 추가돼 추론 컨텍스트와 KV 캐시 효율을 개선한다.

·2·2026.04.17 04시

8x MI50에서 64 tok/s 피크

8x MI50 32GB에서 MiniMax M2.7 AWQ를 피크 64 tok/s로 돌린 벤치다.

·1·2026.04.17 02시

Cloudflare의 AI Platform: agents를 위한 inference layer

Cloudflare가 멀티모델 AI 게이트웨이와 BYOM 지원을 통합했다.

·1·2026.04.16 23시

I-DLM - 내성 확산 언어 모델(Introspective Diffusion Language Models)

확산 LLM이 AR 수준 품질과 병렬 생성 속도를 함께 달성했다.

·1·2026.04.16 04시

AI TCO를 다시 생각하다: 왜 토큰당 비용이 유일한 지표인가

AI 인프라의 진짜 성과는 FLOPS가 아니라 토큰당 비용으로 결정된다.

·2026.04.16 00시

Ollama 지연폭발

Ollama Cloud의 응답 지연과 낮은 TPS 때문에 구독 해지까지 나온 불만이다.

·2026.04.15 23시

RL로 키운 의료모델

SeedRL로 만든 32B 의료 LLM을 공개하고, thinking mode 기본값으로 설정했다.

·2026.04.15 15시

Qwen 2배 가속

oMLX 0.3.5 RC1의 DFlash로 Mac M5 Max에서 Qwen3.5 27B가 9→22 T/S로 빨라졌다.

·1·2026.04.15 11시

기존 KV 압축 기법 대비 최대 25% 추가 절감, 성능은 오히려 개선 — CASK

core/scratch 분리로 reasoning KV cache를 더 작게, 더 정확하게 압축.

·2026.04.15 00시

AR→디퓨전 2배속

자기회귀 모델을 diffusion 모델로 바꿔 2배 이상 빠르게 만드는 방법이다.

·1·2026.04.14 21시

LLM 추론의 비결정성 깨부수기

LLM 추론의 비결정성은 단순한 GPU 동시성이 아니라 요청 스케줄링에 더 가깝다.

·1·2026.04.14 09시

4070에 1M맥락

RTX 4070 12GB에서 재학습 없이 1M 토큰 컨텍스트를 노린다.

·2026.04.13 02시

64M페이지 OCR 비용 줄이기

64M페이지를 위한 저비용 OCR 스택과 무료 크레딧/연구 지원처가 공유됐다.

·1·2026.04.10 12시

13분 대기함정

터미널은 빠른데 앱에 붙이면 13분씩 걸리는 로컬 LLM의 함정이 드러났다.

·2·2026.04.10 05시

Warp Decode를 활용한 MoE 추론 가속화

Warp Decode는 Blackwell GPU에서 MoE 추론의 병렬화 축을 전문가에서 출력값으로 전환해 성능을 1.84배 높였다.

·2026.04.08 09시

Anthropic 제한 대응, OpenClaw 활용법

Anthropic의 Claude 접근 제한에 대응하여 OpenClaw 에이전트를 오픈 모델로 전환하는 방법을 안내한다.

·1·2026.03.27 09시

NVIDIA와 통신사 리더들, 분산 네트워크 추론 최적화를 위한 AI 그리드 구축

통신사들이 NVIDIA와 협력하여 기존 네트워크 인프라를 분산형 AI 추론을 위한 AI 그리드로 전환하고 있다.

·2·2026.03.18 02시

llama.cpp, HF 합류

llama.cpp 개발팀인 GGML이 Hugging Face에 합류하여 로컬 AI 생태계 지원을 강화한다.

·2026.02.20 09시

OpenAI, Cerebras와 파트너십 체결

OpenAI가 Cerebras와 파트너십을 체결하고 750MW 규모의 초저지연 AI 컴퓨팅 자원을 도입해 AI 추론 속도를 혁신한다.

·1·2026.01.14 23시

LLM 추론 최적화: 연속 배칭의 원리

LLM 추론 효율을 극대화하는 연속 배칭의 작동 원리를 기초부터 상세히 설명한다.

·2025.11.25 09시

SGLang, Transformers 백엔드 통합

SGLang이 Transformers 백엔드를 지원하여 모든 Transformers 호환 모델을 고성능으로 추론할 수 있게 되었다.

·2025.06.23 09시

Hugging Face, Groq 추론 지원

Hugging Face Hub에서 Groq의 LPU 기반 초고속 추론 서비스를 직접 이용할 수 있게 되었다.

·2025.06.16 09시

Furiosa SDK 2025.1.0 출시

Furiosa가 LLM 추론 성능을 최적화하고 Tool Calling을 지원하는 SDK 2025.1.0을 출시했다.

·2·2025.02.27 09시

FuriosaAI: AI의 미래는 효율적인 추론에 있다

AI 산업이 학습에서 추론 중심으로 이동함에 따라 효율적인 추론 컴퓨팅의 중요성이 커지고 있다.

·2025.02.21 09시