Forge - 가드레일로 8B 모델의 에이전트 작업 성공률을 53%에서 99%로 끌어올리는 도구

Forge는 자체 호스팅 LLM의 도구 호출을 안정화하는 신뢰성 계층이다. 다단계 에이전트 워크플로우에서 작은 로컬 모델이 자주 실패하는 부분을 보완해, 에이전트 작업에서의 실행 성공률을 끌어올리는 데 초점을 맞춘다.

핵심 기능은 다음과 같다.

• 잘못된 도구 호출을 복구하는 rescue parsing
• 실패 시 다시 시도하도록 유도하는 retry nudging
• 반드시 거쳐야 하는 단계를 강제하는 required steps
• VRAM-aware token budget 관리
• 계층형 context compression

성능 측면에서는 상위 자체 호스팅 구성인 Ministral-3 8B Instruct Q8 on llama-server가 26개 평가 시나리오에서 86.5%, 가장 어려운 티어에서 **76%**를 기록했다. 글은 Forge의 가드레일과 ablation study를 묶어 Forge: A Reliability Layer for Self-Hosted LLM Tool-Calling로 출판됐다고 설명하며, 라이선스는 MIT라고 밝힌다.

사용 방식은 세 가지다.

• WorkflowRunner: 전체 에이전트 루프, 프롬프트, 도구 실행, 컨텍스트 압축, 가드레일을 통합 관리
• Guardrails middleware: 기존 오케스트레이션 루프에 삽입
• OpenAI-compatible proxy server: opencode, Continue, aider 같은 클라이언트와 로컬 모델 서버 사이에 끼워 투명하게 적용

프록시는 도구가 있는 요청에 합성 respond 도구를 자동 주입해 모델이 일반 텍스트 대신 respond(message="...")를 호출하게 만들고, 응답에서는 이를 제거해 클라이언트에는 정상 텍스트처럼 보이게 한다.

지원 백엔드는 Ollama, llama-server (llama.cpp), Llamafile, Anthropic이다. 글은 llama-server가 가장 높은 성능과 제어력을, Ollama가 쉬운 설정을, Llamafile이 단일 바이너리 실행을, Anthropic이 프런티어 기준선과 하이브리드 워크플로우를 맡는다고 정리한다.

설치는 pip install forge-guardrails로 가능하며, Anthropic 클라이언트는 pip install "forge-guardrails[anthropic]"를 추가로 설치하면 된다. 요구 사항은 **Python 3.12+**와 실행 중인 LLM 백엔드다.

평가 하네스는 26개 시나리오로 모델과 백엔드 조합의 다단계 도구 호출 안정성을 측정하며, OG-18 기준 티어와 8개 advanced_reasoning 티어로 나뉜다. 별도로 LLM 백엔드 없이도 돌 수 있는 865개 결정적 단위 테스트와 실제 백엔드 대상 평가 하네스가 포함된다.