엔터프라이즈 AI의 토대, grounding

엔터프라이즈 AI에서 핵심은 grounding이다. LLM은 학습 시점에 고정된 일반 지식만 갖고 있어 조직의 내부 데이터와 최신 맥락을 모르기 때문에, 그럴듯하지만 틀린 hallucination이 가장 큰 리스크로 남는다. 답변을 외부 근거에 묶고 출처를 제시하는 방식이 필요하며, 가장 널리 쓰이는 해법이 RAG다.

RAG는 CRM, 위키, DB 같은 신뢰할 수 있는 소스에서 관련 정보를 검색해 쿼리와 함께 모델에 넣는다. 이렇게 하면 답변이 문서와 연결되고, 사용자는 근거를 즉시 검증할 수 있어 감사 가능성과 신뢰성이 함께 높아진다.

평가와 운영은 더 까다롭다. Google DeepMind와 Google Research의 FACTS Grounding은 최대 32,000 tokens를 다루며, 도움됨과 사실 정확성을 분리해 본다. 실제 배포에서는 다음 균형을 맞춰야 한다.

• precision vs recall: 관련 정보를 넓게 찾되 잡음은 줄여야 한다.
• creativity vs abstaining: 답을 잘 쓰되, 근거가 없으면 답변을 거부할 수 있어야 한다.
• latest information vs parametric memory: 최신 근거가 모델의 오래된 기억을 이겨야 한다.

grounding이 잘 되면 도입과 ROI가 달라진다. Alphabet은 Bard의 사실 오류 이후 시가총액 1,000억 달러가 흔들렸고, McKinsey 조사에서는 미국 직원의 **50%**가 생성형 AI의 정확성을 우려했다. 반면 LinkedIn은 RAG 기반 고객지원 시스템으로 약 6개월 만에 이슈 해결 중앙값을 28.6% 줄였다. 사내 AI 비서, 계약 검토, 기술 매뉴얼 QA처럼 정확성과 속도가 동시에 필요한 업무에서 효과가 크다.

AI21은 Jamba 패밀리로 이 요구에 대응한다. 최신 Jamba 1.7은 FACTS 기준 grounding을 개선했고, 256K-token 컨텍스트 윈도우로 더 큰 문서 묶음을 한 번에 처리한다. Transformer + SSM 하이브리드 구조와 Mamba 결합은 정확도와 효율을 함께 노리며, VPC, 온프레미스, 에어갭 배포도 염두에 둔다.