텐서 컨트랙션 프로세서: AI 칩 아키텍처

AI 하드웨어는 폭발적인 연산 수요를 충족하기 위해 높은 프로그래밍성과 전력 효율성을 동시에 갖춰야 한다. 하지만 기존 GPU는 모델 변화에 따른 최적화가 어렵고, 칩당 1,000W가 넘는 막대한 전력을 소모한다는 한계가 있다.

FuriosaAI는 이를 해결하기 위해 텐서 컨트랙션 프로세서(TCP) 아키텍처를 개발했다. TCP는 AI 핵심 연산을 중심으로 설계되어 데이터와 메모리를 효율적으로 관리하며, 차세대 칩인 RNGD(Renegade)를 통해 Llama 3와 같은 고성능 생성형 AI 모델을 구동한다.

TCP는 소프트웨어 스택과 공동 설계되어 높은 프로그래밍성을 제공한다. 특히 모델 전체를 하나의 융합된 연산으로 처리하는 범용 컴파일러를 통해, 새로운 아키텍처의 모델도 자동으로 최적화하여 배포할 수 있다.

데이터 이동은 연산 자체보다 최대 10,000배 더 많은 에너지를 소모한다. TCP는 온칩 메모리에 저장된 데이터를 재사용하여 데이터 이동을 최소화함으로써 에너지 효율을 극대화한다. RNGD는 올해 말 출시될 예정이다.