Ollama Model Tester (GitHub 저장소)

Ollama Model Tester는 로컬 Ollama 모델에 동일한 프롬프트를 실행하고, 모든 응답을 디스크에 저장하여 모델 간 또는 동일 모델의 반복 실행 결과를 비교할 수 있게 해주는 가벼운 CLI 도구입니다.

이 도구는 Python 표준 라이브러리만을 사용하므로 별도의 pip install 과정이 필요 없는 의존성 없는(dependency-free) 구조를 가집니다. Python 3.7 이상의 환경과 로컬에 실행 중인 Ollama가 필요합니다.

사용자는 두 가지 방식으로 도구를 활용할 수 있습니다:

• 대화형 모드: 모델 선택, 프롬프트 입력, 실행 횟수, 온도(Temperature), 스트리밍 여부를 순차적으로 입력
• 명령행 플래그: --model, --runs, --temperature, --prompt-file 등을 사용하여 스크립트 방식으로 자동화 가능

결과물은 ollama-runs/ 디렉토리에 프롬프트 해시를 기준으로 그룹화되어 저장됩니다. 동일한 프롬프트에 대해 서로 다른 모델을 실행하면 같은 폴더에 결과가 모이므로, 모델 간 응답 차이를 한눈에 비교하기 매우 용이합니다. 각 파일에는 응답 내용뿐만 아니라 토큰 수, 실행 시간 등 Ollama의 메타데이터도 함께 기록됩니다.