Apple ANE 역공학: LLM 추론 병목은 연산 아닌 데이터 이동, M5서 GPU 내부로 통합

Apple Neural Engine(ANE)의 역공학 분석을 통해 LLM 추론의 핵심 병목이 연산 성능이 아닌 **데이터 이동(dataflow)**임을 확인했다. 특히 2025년 M5 칩에서 ANE 코어가 GPU 내부로 통합되면서, 독립적인 하드웨어 블록으로서의 형태 변화와 함께 Transformer 워크로드에 대한 설계 철학 변화를 시사한다.

ANE 아키텍처와 연산 구조

M1 ANE는 16개 병렬 코어로 구성되며, 각 코어는 128 FP16 또는 256 INT8 MAC 레인을 보유해 총 2048개의 병렬 MAC 레인을 형성한다. 하드웨어는 CNN 레이어를 인코딩하지 않으며, 부분 합을 로컬에 유지해 외부 메모리 접근을 회피한다. 정밀도는 FP16 입력, Q16.16 고정소수점 누적, FP16 출력이다. Nonlinear Activation은 MAC 직후 pointwise로 적용되며 중간 메모리 왕복이 없다. ANE는 ISA가 없는 고정 기능 데이터플로우 엔진으로, 사전 컴파일된 task descriptors(TDs)를 통해 제어된다.

데이터 이동이 병목인 이유

ANE가 CNN에 최적화된 근본 원인은 연산이 아닌 메모리 이동이다. 2017년 CNN 모델의 예측 가능한 재사용 패턴을 전제했으나, Transformer의 autoregressive decode가 이 가정을 깨뜨렸다. M1 ANE는 11 TOP/s 성능을 내지만 시스템 DRAM 대역폭은 68 GB/s로, FP16 기준 0.5 OP/byte에 불과하다. Roofline ridge point는 162 OP/byte로, DRAM 대역폭 병목을 피하려면 연산 강도가 최소 162:1이어야 한다. 이 비율 미만에서는 연산 속도 증가가 token/s 향상으로 이어지지 않는다.

메모리 계층 및 실행 메커니즘

메모리 계층은 Unified DRAM, Shared ANE L2(2 MiB), Core별 L1 및 KMem으로 구성된다. KMem은 코어당 64 KiB SRAM으로 Kernel용이며, L2는 전 코어 공유 2 MiB이다. DMA 엔진은 KernelDMASrc(DRAM→KMem 가중치), TileDMASrc(DRAM→L2), TileDMADst(L2→DRAM) 3종이 있다. Kernel은 L2가 아닌 DRAM에서 로드되며, KernelDMA와 TileDMA는 병렬이 아닌 직렬(serial) 처리로 DRAM ceiling(100 GB/s)에는 미달한다. 따라서 ANE decode 성능은 DRAM bandwidth에 제한되며, 2.5배 향상(10→25 tok/s)을 위해서는 약 2.5배 bandwidth 증가가 필요하다.