GenAI는 기대에 부응하고 있을까? 3년간 현장에서 얻은 인사이트

3년간의 현장 경험은 GenAI가 만능이 아니라는 점을 분명히 보여줬다. 기업 도입에서는 인프라 비용이 예상보다 40~60% 높아지고, 통합 일정은 2~3배 길어졌으며, 데이터 준비만 전체 프로젝트의 **60%**를 차지하기도 했다.

AI21 Labs는 이런 현실에 맞춰 하이브리드 모델 Jamba를 내세운다. Jamba는 Joint Attention and Mamba의 약자로, Mamba의 state-space layer와 Transformer attention을 결합한 구조다. 각 블록은 Mamba 7개 층과 attention 1개 층으로 구성되며, 전통적 Transformer는 메모리 집약적이고 대규모 입력에서 느려 실제로는 100k tokens를 넘기기 어렵다고 본다. 반면 NVIDIA RULER 벤치마크는 128k tokens에서 끝나지만, 내부 테스트에서는 256k tokens까지 다룬다고 설명한다. 10년치 Google, Meta, Amazon, Microsoft 10-K를 합치면 약 16,000쪽에 이른다는 예시도 든다.

실제로 성과가 나는 조합은 따로 있다.

• RAG: 관련 정보를 주입해 정확도를 높이지만 데이터 품질, 비용, 통합 난도가 높다.
• Systematic workflows: 초기 static chains는 정확성을 끌어올렸지만 너무 경직되면 취약해진다.
• Prompt engineering: few-shot 예시와 맞춤형 프롬프트로 성능을 끌어올릴 수 있지만, 모델별 편차와 유지보수 부담이 크다.
• Long-context processing: 긴 문맥이 정확도를 높이지만 비용과 메모리 사용량이 급증한다.

실전 예시로는 금융 term sheet 자동 생성이 제시된다. 입력에서 핵심 포인트를 추출·검증할 때 Jamba Mini를 쓰고, RAG로 예시 문서를 골라 초안을 만든 뒤, 별도 모델인 Claude가 결과를 비평하는 다중 검증 흐름이다. 오픈소스 기반이라 온프레미스, 클라우드, 하이브리드 배포가 가능하고, 대화형 chat interface가 GenAI의 진입장벽을 크게 낮췄다고 본다.

결론적으로 GenAI는 여전히 완전한 자율성, 오류 복구, 다중 도구 통합, 비용 관리에서 한계가 있다. 하지만 긴 context와 검증형 워크플로를 결합하면 기업용 가치는 분명해진다. 다음 단계의 agentic workflows는 단순 자동화가 아니라 실패를 감지하고 경로를 바꾸는 시스템에 가까워질 전망이다.