프롬프트와 기도는 이제 그만

Yoav은 AGI라는 말을 싫어한다. 지능은 여러 능력의 조합일 뿐이고, 어느 순간 갑자기 AGI에 도달한다는 식의 서사는 과장된 환상이라고 본다.

기업은 AI-first를 내세우며 수백 개 유즈케이스를 시험하지만, 실제 배포로 이어지는 프로젝트는 많지 않다. 걸림돌은 두 가지다.

• 비용: LLM 서빙 비용이 높아 비즈니스 소프트웨어의 경제성을 흔든다.
• 신뢰성: 대부분은 맞아도 일부의 엉뚱한 출력이 투자 메모나 고객 응대에서는 치명적이다.

비용 문제는 sub-7B, sub-3B급의 더 작은 Small Language Models(SMLs) 와 transformer가 아닌 더 효율적인 구조, 예를 들면 Jamba 같은 모델로 완화될 수 있다. 반면 신뢰성 문제는 LLM의 확률적 특성에서 나오므로 alignment나 guardrails만으로 사라지지 않는다.

그래서 그는 prompt and pray를 버리고, LLM, retrieval, tools, 전통적 코드를 묶은 AI systems로 가야 한다고 본다. 작은 LLM이 라우터처럼 작업을 나누고 중간 검증을 넣으면, 특히 비자명한 추론이 필요한 업무에서 제어성, 효율, 신뢰성을 함께 높일 수 있다.

스타트업의 과제는 product-algo fit이다. 제품이 AI의 강점을 최대한 활용하고, 남는 불완전성은 설계로 보완해야 실제 배포까지 갈 수 있다는 메시지다.