LLM 비용을 최대 22배 절감하는 오픈소스 라우터 'Brick' 공개

Regolo 팀이 개발한 Brick은 프롬프트의 역량(코딩, 수학, 추론, 창의성, 계획, 지식)과 복잡도를 분석하여, 해당 작업을 수행할 수 있는 가장 저렴한 모델로 쿼리를 전달하는 Mixture-of-Models 라우터입니다.

주요 작동 원리:

• 역량 분류: 프롬프트를 6가지 차원(coding, math_reasoning, creative_synthesis, instruction_following, planning_agentic, world_knowledge)으로 분류합니다.
• 복잡도 평가: 두 번째 분류기를 통해 난이도를 Easy, Medium, Hard로 점수화합니다.
• 라우팅 결정: 모델별 숙련도 점수(Skill-distance score)를 계산하여, 품질을 유지하면서도 가장 비용 효율적인 모델을 선택합니다.

주요 특징 및 이점:

• 비용 절감: 실제 사례 분석 결과, 동일한 1,000개의 쿼리를 처리할 때 일일 비용을 $165에서 $35로 약 79% 절감할 수 있음을 확인했습니다.
• 간편한 통합: Claude Code나 OpenAI 호환 API를 사용하는 모든 클라이언트와 호환되며, 별도의 GPU 없이 CPU 환경에서도 실행 가능합니다.
• 오픈소스: Apache 2.0 라이선스로 공개되어 자유로운 활용이 가능합니다.