AI가 설계한 오픈소스 가속기 openTPU, FPGA에서 LLM 추론 성공

AI가 설계한 AI 추론 하드웨어

openTPU는 AI 에이전트가 직접 개발한 오픈소스 AI 가속기 프로젝트로, AI가 자신의 추론을 실행할 칩을 설계할 수 있는지 탐구합니다. 저장소에는 SystemVerilog RTL, 명령어 세트 아키텍처, 비트 단위 정확 시뮬레이터, 커널 컴파일러, 호스트 소프트웨어 등 전체 스택이 포함되어 있습니다.

Inspur YPCB-00338 카드 성능

이 가속기는 Xilinx Kintex-7 xc7k480t FPGA와 DDR3 채널 2개를 탑재한 Inspur YPCB-00338 카드에서 작동합니다. 실제 가중치를 가진 10개의 최신 모델을 실행하며 시뮬레이터와 비트 단위로 일치하는 출력값을 생성합니다. 주요 모델의 측정 성능은 다음과 같습니다:

• LFM2.5-230M (int8): 디코딩 59.0 tok/s
• LFM2.5-230M (4-bit): 디코딩 85.8 tok/s
• Qwen3-0.6B (int8): 디코딩 21.6 tok/s
• Qwen3.5-0.8B (int8): 디코딩 17.6 tok/s
• Gemma 4 E2B (4-bit): 디코딩 10.57 tok/s
• LFM2-2.6B (int8): 디코딩 6.05 tok/s
• SmolLM3-3B (int8): 디코딩 5.00 tok/s
• Phi-4-mini (3.8B) (int8): 디코딩 3.99 tok/s
• Qwen3.5-2B (int8): 디코딩 8.02 tok/s
• Qwen3.5-4B (4-bit): 디코딩 5.88 tok/s

설계는 캐시나 숨겨진 스케줄링을 배제한 단순성을 우선시합니다. 디코딩 성능은 DRAM 효율에 의해 제한되며, DDR3-1066 피크 대역폭의 82%에서 85%를 읽습니다. 4-bit 양자화는 int8 대비 디코딩 속도를 40%에서 45%까지 향상시킵니다. 또한 LFM2.5-8B-A1B와 같은 Mixture-of-Experts 모델을 지원하며 디코딩 중 피크 대역폭의 98.5%를 달성합니다. 프로젝트는 Apache License 2.0을 따릅니다.