AI 에이전트 코드 실행 API

LLM은 특정 수학 문제 해결이나 최신 지식 반영 등 정교한 추론에서 한계를 보인다. 이를 보완하기 위해 AI 에이전트가 복잡한 워크플로우를 수행하며 다양한 LLM과 상호작용하는 방식이 주목받고 있다.

LLM의 코드 생성 능력을 활용해 추론 과정을 외주화할 수 있지만, 신뢰할 수 없는 코드를 실행하는 과정에서 보안 위험이 발생한다. 따라서 사고를 방지할 수 있는 샌드박스(Sandboxed) 환경에서의 코드 실행이 필수적이다.

Replit은 두 가지 실행 모델을 제안한다:

• Stateless(무상태): 단일 입력에 대해 빠르게 결과를 반환하며 낮은 지연 시간을 유지하는 방식 (예: Google Bard의 수학 문제 해결).
• Stateful(상태 유지): 파일과 의존성을 포함한 프로젝트 전체를 세션 동안 유지하며 발전시키는 방식 (예: ChatGPT).

Replit은 먼저 Replit Autoscale Deployments를 통해 배포 가능한 Stateless API를 공개했다. 이 API는 omegajail을 사용하여 보안을 확보했으며, 요청 처리 속도는 약 100ms 수준이다.

사용자는 Docker 컨테이너 이미지를 자유롭게 커스텀하고 필요한 의존성을 추가할 수 있다. 또한 OpenAI의 Function Calling과 쉽게 통합하여 활용할 수 있다.