기업용 AI

DeepSeek이 OpenAI o1보다 높은 벤치마크 성능을 더 낮은 비용으로 내놨지만, 기업이 필요한 것은 점수 경쟁이 아니라 실제 업무에 붙는 신뢰 가능한 결과다. Dataiku와 Deloitte 자료를 보면 GenAI 프로젝트의 **20~30%**만이 생산 환경에 도달한다.

기업은 그동안 prompt and pray 방식이나, LLM 주위에 정적이고 하드코딩된 체인과 검증 단계를 덧붙이는 방식으로 불확실성을 줄이려 했다. 하지만 이런 접근은 시간과 리소스를 크게 소모할 뿐, 핵심 문제를 해결하지 못한다.

LLM은 확률적으로 답을 생성하므로 같은 프롬프트에도 결과가 달라지고, 할루시네이션이 다단계 작업에서 누적된다. 가격 안내나 단순 요약을 넘어서면, 금융 예측이나 의료 분류처럼 결과가 중요한 영역에서 이런 흔들림은 곧 장애가 된다.

대안은 AI 시스템이다. 시스템은 언제 사실 데이터를 조회할지, 언제 계산이나 작업을 도구에 넘길지, 언제 사람의 검토를 거칠지 동적으로 조율해야 한다. 예를 들어 SaaS 회사라면 고객 문의를 단순 답변하는 데 그치지 않고, 실시간 제품 정보와 CRM 데이터를 연결해 적절한 팀으로 라우팅해야 한다.

기업이 새로 봐야 할 기준은 다음 네 가지다.

• Controllable: 출력이 요구사항에 맞게 제어되는가.
• Reliable: 일관되게 올바른 결과를 내는가.
• Integration: 구조화 데이터, API, 도구, 엔터프라이즈 시스템과 연결되는가.
• Traceability: AI가 어떤 경로로 결론에 도달했는지 감사할 수 있는가.

현재의 많은 “agent” 솔루션도 여전히 불확실한 LLM 챗봇에 가깝다. AI21 Labs는 8년간 기업용 AI를 만들어 왔으며, 이제 기업은 모델이 아니라 시스템을 중심에 둬야 한다고 강조한다.