AI 팩토리: 지능을 위한 새로운 인프라

AI 팩토리는 에너지를 **토큰(Token)**으로 변환하여 실시간으로 지능을 제조하는 새로운 차원의 인프라다. 산업 시대의 발전소가 에너지를 전기로 변환했다면, AI 시대의 팩토리는 추론 모델과 에이전트의 생산 단위인 토큰을 생산한다.

이 모델의 경제성은 초당 토큰 생성량(Tokens per second), 와트당 토큰 생성량(Tokens per watt), 토큰당 비용 등에 의해 결정된다. AI 팩토리는 모델, 컴퓨팅, 네트워킹, 메모리, 소프트웨어, 스토리지, 전력 및 냉각을 포함한 전체 스택을 최적화하여 지능을 지속적으로 출력하도록 설계된다.

특히 **에이전틱 AI(Agentic AI)**의 확산은 워크로드의 성격을 변화시키고 있다. 자율 에이전트는 단순한 응답을 넘어 다음과 같은 고도화된 작업을 수행한다:

• 추론, 계획, 검색 및 도구 활용
• 데이터 검색 및 코드 작성
• 자체적인 서브 에이전트 생성 및 도구 사용법 학습

이러한 멀티 에이전트 시스템은 AI 워크로드를 더 길고 깊게 만들며, 훨씬 더 많은 컴퓨팅 자원을 요구한다. 따라서 인프라는 전체 워크플로우가 끊김 없이 다음 단계의 결정과 행동으로 이어질 수 있도록 효율성을 유지하는 데 집중해야 한다.