StarCoder 기반 StarChat 공개

StarCoder는 80개 이상의 프로그래밍 언어와 GitHub 이슈, 커밋, Jupyter 노트북 등 1조 개의 토큰으로 학습된 16B 파라미터 규모의 오픈 소스 모델이다. 기업 친화적인 라이선스, 8,192 토큰의 컨텍스트 길이, multi-query attention을 통한 빠른 추론 성능을 제공한다.

본 가이드는 StarCoder를 대화형 모델인 StarChat으로 변환하는 기술적 과정을 다룬다. 주요 내용은 다음과 같다.

• LLM을 대화형 에이전트로 만드는 프롬프트 엔지니어링 기법
• 사용자와 AI 간의 구조화된 메시지 형식을 제공하는 OpenAI의 ChatML 활용
• Hugging Face Transformers와 DeepSpeed ZeRO-3를 사용하여 대규모 대화 데이터셋으로 모델을 미세 조정(Fine-tuning)하는 방법