하나의 프롬프트를 11개 AI 모델에 실행했더니 나온 서로 다른 결과

Netlify가 OpenRouter와의 파트너십을 통해 AI Gateway를 통한 모델 선택 폭을 넓히고, 코딩 에이전트인 Agent Runners에서 사용할 수 있는 모델을 대폭 확장했다.

주요 업데이트 내용은 다음과 같다:

• 모델 다양성 확대: Kimi K3, GLM 5.2, DeepSeek V4 등 최근 주목받는 최신 오픈 모델들을 포함하여 다양한 프론티어 모델을 지원한다.
• AXIS를 통한 모델 평가: Netlify는 자체 오픈소스 도구인 AXIS를 사용하여 모델을 평가한다. 단순한 디자인 품질이 아닌, 데이터베이스 활용 능력 등 기능적 정확성과 비용 효율성을 기준으로 모델의 성능을 검증한다.
• 모델별 성능 및 비용 비교: 사용자가 모델별 성능 차이와 크레딧 소모량을 직관적으로 이해할 수 있도록, 동일한 프롬프트를 여러 모델에 실행하여 웹사이트를 구축하는 비교 테스트 결과를 제공한다.

테스트는 커피숍 웹사이트 구축, 할 일 목록(To-do list) 앱 제작, 레시피 추천 앱 제작 등 세 가지 시나리오를 통해 모델의 기능 구현 능력과 비용을 검증하며, 이를 통해 개발자가 작업에 가장 적합한 모델을 선택할 수 있도록 돕는다.