OpenSquilla, 토큰 비용 줄이는 오픈소스 AI 에이전트 공개

OpenSquilla가 v0.1.0 자가 호스팅 가능한 오픈소스 AI 에이전트 런타임을 공개했다. 핵심 목표는 에이전트가 불필요하게 쓰는 토큰을 줄여 장기 작업의 비용 상한을 낮추는 것이다.

로컬 테스트에서는 세 개의 프롬프트가 총 279,762 tokens를 처리했고, 세션 비용은 $0.0094였다. 이 가운데 222,848 tokens가 cache로 처리돼 입력 토큰의 약 **80%**를 재사용했다. routing classifier는 각 요청의 gate 결정을 기록했고, Windows에서는 sandbox가 no-op로 동작하지만 Linux production에서는 syscall-level isolation을 제공한다.

비용 절감은 여러 계층의 routing으로 구현한다.

• ML classifier가 message length, code block, keyword pattern, embedding feature를 함께 써 요청 복잡도를 판별한다.
• 단순 요청은 더 저렴한 model로 보내고, 가벼운 작업에서는 deep reasoning을 끈다.
• skills는 전체 컨텍스트에 넣지 않고 on-demand로 로드한다.
• 자체 benchmark 기준 고정 단일 모델 구성 대비 60~80% 토큰 지출 절감이 가능하다.
• quota hooks와 호출별 비용 추적으로 초과 지출을 감지하고 차단한다.

메모리는 4단계 cognitive architecture로 나뉜다. Working memory는 현재 task를, Episodic memory는 세션 간 경험과 인과관계를, Semantic memory는 영속적 사실과 규칙을, Raw memory는 감사와 재학습용 원본을 맡는다.

Retrieval은 vector-semantic search와 BM25 full-text search를 병렬로 돌리고, embeddings는 bundled ONNX inference로 로컬 처리한다. 자주 참조되는 항목은 hot memory로 승격되고, 오래된 기억은 temporal decay로 희석되며, 24시간마다 Memory Dream Consolidation이 흩어진 메모리를 더 밀도 높은 지식으로 재정리한다.

보안은 Docker 래퍼 대신 syscall-level isolation을 쓴다. 정책은 standard, strict, locked의 3단계이며, Bubblewrap on Linux와 Seatbelt on macOS로 파일시스템 접근을 분리한다. 연속 3회 거절 시 denial ledger가 에이전트를 멈추고, prompt injection 방지를 위해 skill metadata와 tool result를 XML-escaping한다.

아키텍처는 약 100줄짜리 core orchestrator를 중심으로 한 microkernel이다. provider, memory backend, channel adapter, tool integration은 모두 플러그인으로 붙고, 플러그인은 base class나 manifest 없이 5줄짜리 duck-typed class로 작성할 수 있다. Slack, Discord, Telegram, MS Teams, Matrix 등 10개가 넘는 채널을 지원하며, 배포본은 Apache-2.0과 Python 3.12+ 기반으로 GitHub에서 self-hosting할 수 있다. 팀은 출시와 함께 10M Token Bill Challenge도 진행한다.