240W로 700B LLM 구동하는 AI 가속기 등장
Tiny company steals AMD's thunder and challenges Nvidia with old-tech PCIe AI accelerator that runs 700B LLMs locally, sipping just 240W thanks to decade-old DDR4 and 28nm chips
대만 Skymizer가 구형 칩과 메모리를 활용해 700B 규모의 LLM을 저전력으로 구동하는 PCIe AI 가속기 HTX301을 공개했다.
대만 기업 Skymizer가 고가의 최신 기술 대신 구형 기술을 활용해 대규모 언어 모델(LLM) 추론을 지원하는 PCIe AI 가속기 HTX301을 공개했다.
이 제품은 고가의 HBM 대신 28nm 칩과 LPDDR4/LPDDR5 메모리를 사용하여 제작되었으며, 단일 카드에서 최대 384GB의 메모리 용량을 제공한다. 이를 통해 700B(7,000억 개) 파라미터 규모의 거대 모델을 단 240W의 저전력으로 구동할 수 있다는 것이 핵심이다.
주요 특징 및 장점:
- 저전력 설계: NVIDIA RTX PRO 6000 Blackwell(약 600W)의 절반 이하 수준인 240W 미만으로 작동한다.
- 인프라 효율성: 별도의 데이터 센터 전력 및 냉각 시스템 개조 없이 기존 공랭식 서버에 바로 장착하여 사용할 수 있다.
- 성능 최적화: 효율적인 가중치 및 KV 캐시 압축 기술을 통해 오픈 소스
llama.cpp보다 9~17.8% 높은 성능을 구현한다.
Skymizer는 이번 Computex에서 제품을 선보여 성능을 검증받을 예정이다. 만약 발표된 성능이 실제 환경에서도 입증된다면, 기업들이 온프레미스(On-premises) 환경에서 대규모 LLM을 구축할 때 발생하는 비용과 인프라 장벽을 크게 낮출 것으로 기대된다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.