Jalapeño 첫 결과, AI 추론에서 업계 최고 속도 및 효율 입증

OpenAI가 자체 개발한 첫 번째 추론 칩 Jalapeño의 초기 성능 테스트 결과를 공개했다. Jalapeño는 단일 아키텍처로 기존 하드웨어 시스템에서 타협해야 했던 **처리량(throughput)**과 **지연 시간(latency)**을 동시에 개선하는 성과를 보였다.

GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T 등 다양한 모델을 대상으로 한 테스트에서 Jalapeño는 피크 처리량 시 전력당 AI 작업량이 1.5~1.9배 높고, 끝에서 끝까지의 지연 시간이 1.7~3.6배 짧았다. 특히 대화형 워크로드에서는 2.1~4.1배 높은 성능을 기록했다.

성능 평가는 SemiAnalysis의 공개 벤치마크 InferenceX를 활용해 사용자 경험 수준을 일치시킨 상태에서 수행했다. Jalapeño는 700W로 평가받았으나, 실제 테스트 워크로드에서는 550W 이하의 지속 전력으로 작동했다. OpenAI는 Jalapeño가 모델부터 칩, 메모리, 네트워크까지 풀스택을 통합 설계한 결과물이며, 향후 더 빠르고 효율적인 제품으로 확장될 것이라고 밝혔다.