StarCoder 기반 StarChat 공개
Creating a Coding Assistant with StarCoder
·2023.05.09 09:00
StarCoder를 ChatML과 DeepSpeed로 미세 조정하여 대화형 코딩 어시스턴트 StarChat을 구축하는 방법을 소개한다.
StarCoder는 80개 이상의 프로그래밍 언어와 GitHub 이슈, 커밋, Jupyter 노트북 등 1조 개의 토큰으로 학습된 16B 파라미터 규모의 오픈 소스 모델이다. 기업 친화적인 라이선스, 8,192 토큰의 컨텍스트 길이, multi-query attention을 통한 빠른 추론 성능을 제공한다.
본 가이드는 StarCoder를 대화형 모델인 StarChat으로 변환하는 기술적 과정을 다룬다. 주요 내용은 다음과 같다.
- LLM을 대화형 에이전트로 만드는 프롬프트 엔지니어링 기법
- 사용자와 AI 간의 구조화된 메시지 형식을 제공하는 OpenAI의 ChatML 활용
- Hugging Face Transformers와 DeepSpeed ZeRO-3를 사용하여 대규모 대화 데이터셋으로 모델을 미세 조정(Fine-tuning)하는 방법
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.