Karpathy의 리드줄

Karpathy는 완전 자율형 AI 에이전트에 대한 과열을 경계하며, AI를 leash 위에 두듯 통제해야 한다고 말했다. 핵심은 AI가 행동하느냐가 아니라, 신뢰 가능한 범위 안에서 일관되게 행동하느냐다.

대형 LLM은 한순간에는 초인적으로 보이지만, 다음 순간에는 인간이라면 하지 않을 실수를 낸다. 특히 여러 도구와 데이터베이스, 의사결정이 얽힌 기업 워크플로에서는 작은 오류가 단계마다 누적돼 기하급수적으로 커진다.

이 때문에 prompt-and-pray 식으로 복잡한 요청을 한 번에 던지는 방식은 한계가 분명하다. 대신 neuro-symbolic한 하이브리드 구조가 필요하다. 언어 모델이 단계별 추론을 맡고, symbolic logic이 전체 실행을 제어하며 구조와 검증을 보장한다.

• 작업을 구조화된 실행 계획으로 분해한다.
• 각 단계에서 여러 접근법을 병렬 평가한다.
• 요구사항을 언어 모델과 deterministic code로 개별 검증하고 필요하면 자동 수정한다.
• compute budget과 latency 제약을 함께 반영한다.
• 최종 결과와 함께 감사 가능한 실행 내역을 남긴다.

이 접근은 금융 due diligence처럼 수백 개 문서를 분석하고 사실을 교차 검증해야 하는 업무에서 특히 유용하다. AI21은 이를 AI21 Maestro에 구현했고, 결론은 자율성을 키우는 것보다 통제 가능한 신뢰성을 확보하는 데 있다고 강조한다.