프로덕션급 에이전트 루프 구축하기

Liquid AI는 2025년 말, 코딩 에이전트가 프로덕션급 문제를 자율적으로 해결할 수 있는지 검증하기 위해 실험을 진행했다. 이 실험의 산출물은 오픈소스 BPE 토크나이저 트레이너 **toktoktok**이다.

기존 라이브러리들은 메모리 부족이나 기능 부재로 한계가 있었기 때문에, 단일 머신에서 조(Trillion) 단위 토큰을 처리할 수 있는 새로운 트레이너가 필요했다. 실험 대상은 당시 최강의 코딩 모델인 Claude Opus 4.5와 GPT-5.2 기반 Codex였다.

성공적인 에이전트 루프 설계를 위해 세 가지 기준을 설정했다.

• 프로덕션급: 프로토타입이 아닌 실제 배포를 목표로 하며, 사전 학습 데이터에 없는 새로운 문제여야 한다.
• 멀티 도메인 전문성: 단일 도메인 전문가만으로는 해결하기 어려운 복합적인 기술 스택을 요구한다.
• 외부 검증 가능성: 에이전트가 수정할 수 없는 제3자 소프트웨어(예: tiktoken)로 결과를 검증할 수 있어야 한다.

이러한 조건을 갖춘 실제 문제를 통해 에이전트가 인간 감독 없이도 신뢰할 수 있는 수준으로 작업을 완수할 수 있는지 확인했다.