#inference

#inference와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.

2x 5060 Ti Qwen3.6 벤치마크

2x 5060 Ti 16GB에서 Qwen3.6 27B와 35B-A3B를 여러 엔진으로 비교했다.

·1·2026.04.28 04시

Qwen3.6-27B vLLM 도커, 118 TPS

Qwen3.6-27B를 vLLM Docker와 INT4·MTP 조합으로 2x 3090에서 초당 118토큰으로 구동했다.

·2·2026.04.27 22시

Skymizer, 700B LLM 추론 카드 공개

HTX301 기반 PCIe 카드로 700B LLM 추론을 약 240W에서 지원한다.

·2·2026.04.27 21시

H100서 Gemma 4 E2B 우세

단일 H100 80GB 벤치마크에서 Gemma 4 E2B와 Qwen 3.6 A3B FP8의 우위가 확인됐다.

·1·2026.04.26 18시

vLLM에 Cohere MoE 추가

vLLM에 Cohere MoE 모델 지원 PR이 올라왔다.

·1·2026.04.25 01시

Qwen3.6 27B 속도 공유

Tesla M40 12GB 4장과 fp4 설정에서 Qwen3.6 27B 속도가 26tok/s PP, 8tok/s TG로 보고됐다.

·1·2026.04.25 00시

T4 Qwen2.5 추론 챌린지

Tesla T4·Qwen2.5-0.5B 공개 추론 챌린지의 최고 기록이 3,536 tok/s다.

·1·2026.04.24 17시

vLLM Recipes 개편 - 모델+하드웨어 조합별 설정을 딸각 한방으로

vLLM Recipes가 하드웨어별 서빙 설정과 명령어 생성을 지원하도록 개편됐다.

·2026.04.23 13시

에이전트 시대를 위한 두 개의 칩: Google의 8세대 TPU

Google이 훈련용 TPU 8t와 추론용 TPU 8i를 공개했다.

·1·2026.04.23 10시

Kimi Vendor Verifier - 추론 제공자의 정확성 검증

Kimi Vendor Verifier로 추론 제공자별 구현 편차를 검증한다.

·2·2026.04.23 03시

15B 슈퍼넷 공개

단일 체크포인트로 8개 프리셋을 바꾸며 최대 10.7배 빨라진다.

·1·2026.04.22 23시

에이전트 시대를 위한 두 개의 칩, 우리의 8세대 TPU

Google이 훈련용 TPU 8t와 추론용 TPU 8i를 공개했다.

·2026.04.22 21시

에이전트 시대를 위한 두 가지 특화 TPU 출시

에이전트용 TPU 8i·8t를 공개해 추론·훈련 성능을 각각 강화했다.

·1·2026.04.22 21시

INT3·INT2 KV 캐시 공개

INT3 모델 압축과 INT2 KV 캐시를 묶은 Metal 커널 구현을 공개했다.

·1·2026.04.22 15시

VRAM 한계 돌파

32GB VRAM에서도 llama.cpp --fit로 Qwen3.6 Q8을 256k 컨텍스트에 57 t/s로 구동했다.

·2026.04.22 03시

5090서 77tps

RTX 5090에서 Qwen3.5-27B를 vLLM로 서빙해 77 tps를 기록했다.

·2026.04.21 09시

Kimi Vendor Verifier – 추론 제공자의 정확성 검증

Kimi가 오픈소스 모델 배포 환경의 추론 정확성 검증 도구를 공개했다.

·1·2026.04.21 03시

AI 에이전트 비용도 기하급수적으로 오르고 있을까?

METR의 시간 지평은 늘지만, AI 에이전트의 시간당 비용도 함께 오르는지 따져본다.

·2·2026.04.20 09시

H100 3GB 절약

Unweight로 LLM 가중치 15~22%를 줄여 H100에서 약 3GB VRAM을 확보했다.

·2·2026.04.19 18시

KV가 DC를 넘다

Kimi Linear로 cross-datacenter Prefill/Decode 분리를 현실화해 비용을 낮췄다.

·2026.04.19 01시

엔비디아 대항 투자 러시

AI 추론칩 스타트업들이 2026년 83억달러를 유치하며 엔비디아 대항 경쟁이 커졌다.

·2026.04.17 22시

파라미터 반토막

Parcae는 반복 루프 구조로 770M이 1.3B Transformer급 성능을 노린다.

·1·2026.04.17 12시

오픈AI, Cerebras 칩에 200억 달러 이상 지출하고 지분도 받는다… The Information 보도

오픈AI가 Cerebras 칩에 3년간 200억달러 이상을 쓰고 지분도 받는다.

·2026.04.17 09시

Jensen Huang이 말한 Anthropic, OpenAI, 중국, 그리고 inference token 수요

Nvidia는 공급망·금융·중국 전략으로 AI 인프라 패권을 굳히고 있다.

·1·2026.04.17 09시