SOC의 위협 탐지와 대응에 LLM 기반 AI 통합하기

SOC는 새로운 공격을 읽을 AI 역량, 민감한 로그를 지키는 온프레미스 보안, 그리고 감당 가능한 운영 비용이라는 삼중 과제를 동시에 풀어야 했다.

IGLOO Corporation은 이 문제를 해결하기 위해 생성형 AI 기반 보안 어시스턴트 AiR (AI Road) 를 개발했고, 클라우드 대신 데이터 보호가 가능한 온프레미스 아키텍처를 선택했다. 실시간 LLM inference를 보안 환경 안에서 처리하면서도 GPU의 높은 전력 소모와 비용을 줄여야 했기 때문에, Rebellions의 NPU와 SDK가 핵심 인프라로 채택됐다.

AiR는 위협 판단, 판단 근거 설명, 예측 분석을 수행해 SOC 운영자가 복잡한 상황을 더 빠르고 정확하게 대응하도록 돕는다. Rebellions SDK가 분류 AI, 설명 AI, 생성형 AI 모델을 폭넓게 지원한 덕분에 IGLOO는 기존 GPU 워크로드를 NPU 기반 온프레미스 환경으로 손쉽게 옮길 수 있었다.

프로토타입 테스트에서는 NPU가 GPGPU보다 더 높은 tokens-per-second(TPS) 처리량을 보였고, 전력 소비는 절반 수준으로 줄었다. 성능 대비 전력 효율은 GPU 대비 1.6배 높았으며, 하드웨어 구매비, 공간, 장기 전력·운영비까지 포함한 TCO도 크게 낮아졌다.

• 온프레미스 보안 유지: 민감한 로그와 내부 데이터를 외부 클라우드로 보내지 않음
• 고성능 LLM 추론: 보안 환경 안에서 실시간 추론 수행
• 전력·비용 절감: GPU 대비 절반 전력, 더 낮은 TCO
• 배포 유연성: 대형 서버 대신 컴팩트한 appliance 형태로 SOC 적용 장벽을 낮춤