SemiAnalysis, TPUv7 Ironwood 분석… 사용자당 초당 100토큰 조건서 B200 대비 비용 약 19% 낮아

SemiAnalysis는 Qwen3.5 397B FP8 모델의 8k1k 워크로드에서 TPUv7 Ironwood와 B200/B300의 추론 성능을 비교했다. 사용자당 초당 20토큰 조건에서 Ironwood는 칩당 초당 총 9,364토큰의 처리량을 기록해 B200(8,903)과 B300(8,925)보다 높았다. 별도로 사용자당 초당 100토큰 조건에서 외부 구매자 TCO를 적용한 Ironwood의 총 100만 토큰당 비용은 약 $0.181로, B200($0.222)보다 약 19% 낮았다. Google의 내부 TCO($1.03/chip-hour)를 적용하면 동시성 256 기준 비용당 처리량은 B200 대비 76.7%, B300 대비 130.2% 높은 것으로 분석됐다. 다만 같은 동시성 256에서 Ironwood의 평균 첫 토큰 생성 시간(TTFT)은 5.41초로 B200(3.75초)과 B300(2.40초)보다 느렸다. 이 결과는 해당 조건에서의 비교이며 모든 지연 목표에 적용되는 수치는 아니다. 소프트웨어 스택은 기존 TorchAX에서 새로운 네이티브 TorchTPU 백엔드로 전환 중이다.