AMD 5세대 EPYC CPU 공개 및 AI 최적화

AMD가 Zen5 아키텍처 기반의 5세대 서버용 **EPYC CPU(코드명: Turin)**를 공개했다. 이 프로세서는 최대 192코어 및 384스레드를 지원하여 LLM 및 RAG 워크로드의 지연 시간을 줄이고 처리량을 높이는 데 최적화되어 있다.

Hugging Face는 AMD와 협력하여 새로운 CPU 세대에서의 생태계 호환성을 검증했으며, **AMD ZenDNN PyTorch 플러그인(zentorch)**을 통해 torch.compile 기반의 추론 가속을 지원한다.

주요 벤치마크 결과 (Llama 3.1 8B 기준):

• 이전 세대인 Genoa 대비 약 2배의 처리량(Throughput) 달성.
• 요약, 챗봇, 번역 등 다양한 실무 LLM 시나리오에서 일관된 성능 향상 확인.

Hugging Face는 조만간 성능 재현을 위한 최적화된 Dockerfile과 벤치마크 코드를 배포할 예정이다.