Arm KleidiAI, ExecuTorch 0.7 탑재

Arm의 AI 가속 레이어인 KleidiAI가 ExecuTorch 0.7 beta에 기본적으로 활성화되어, 최신 Arm CPU 아키텍처뿐만 아니라 기존 모바일 기기에서도 자동 가속을 지원한다.

주요 기술적 특징은 다음과 같다:

• SDOT(Signed Dot Product) 활용: Armv8.2 아키텍처부터 도입된 SDOT 명령어를 통해 Int8 및 Int4 정밀도 기반의 행렬 곱셈 연산을 효율적으로 가속한다.
• 광범위한 하드웨어 지원: SDOT는 약 30억 대의 Arm 기반 기기(전체 기기의 약 72%)에서 지원되어, 최신 플래그십뿐만 아니라 수년 전 출시된 기기나 Raspberry Pi 5에서도 GenAI 실행이 가능하다.
• 성능 향상: Galaxy S24+에서 Llama 3.2 모델을 실행할 경우, KleidiAI 미적용 대비 prefill 단계에서 20% 이상의 성능 향상을 보이며, prefill 시 350+ tokens/s, decode 시 40+ tokens/s의 속도를 구현한다.

이번 업데이트를 통해 Android 및 크로스 플랫폼 개발자들은 별도의 커스텀 튜닝 없이도 더 빠른 모델 시작, 낮은 지연 시간, 적은 메모리 점유율을 확보할 수 있다.