LLM 폴백 프록시 Trooper V2 출시

Trooper는 애플리케이션과 클라우드 LLM 사이에서 작동하는 경량 Go 기반 프록시다. 클라우드 제공업체의 API 할당량이나 속도 제한(Rate Limit)에 도달했을 때, 대화 문맥을 유지하며 로컬 모델로 즉시 전환하는 기능을 제공한다.

주요 특징은 다음과 같다:

• Local-first 설계: Ollama를 최우선 순위로 설정하여 데이터 프라이버시를 강화하고, 클라우드 모델을 필요 시에만 사용한다.
• Smart Chain: Claude, Gemini, OpenAI 등 다양한 API 키를 설정하여 모델 간 체이닝을 구성할 수 있다.
• 문맥 보존(Context Preservation): 서버 측에서 전체 대화 기록을 관리하므로, 클라우드에서 로컬로 전환되어도 끊김 없는 대화가 가능하다.
• 간편한 도입: 코드 수정 없이 Base URL을 localhost:3000으로 변경하는 것만으로 바로 사용할 수 있다.

해당 프로젝트는 오픈 소스로 공개되어 있다.