Hugging Face, 코드 LLM StarCoder 공개

StarCoder와 StarCoderBase는 GitHub의 허가된 라이선스 데이터를 기반으로 학습된 코드 전용 대규모 언어 모델(Code LLM)이다.

StarCoderBase는 약 15B 파라미터 규모로 1조 개의 토큰을 학습했으며, StarCoder는 이를 바탕으로 35B개의 Python 토큰을 추가 미세 조정(Fine-tuning)하여 성능을 극대화했다. 8,000개 이상의 **컨텍스트 길이(Context Length)**를 지원하여 긴 코드 입력 처리에 유리하며, 코드 완성, 수정, 설명 및 기술 어시스턴트 역할을 수행할 수 있다.

주요 성능 및 특징:

• 벤치마크: HumanEval 테스트에서 프롬프트 최적화 시 **40.8%**를 기록하며 오픈 소스 모델 중 최고 수준(SOTA)을 달성했다. 이는 OpenAI의 code-cushman-001과 대등하거나 이를 능가하는 수치다.
• 다국어 지원: MultiPL-E 벤치마크를 통해 다양한 프로그래밍 언어에서도 높은 성능을 입증했다.
• 안전성 및 라이선스: 개인정보(PII) 제거 파이프라인과 출처 추적 도구를 도입했으며, 기업의 활용도를 높이기 위해 OpenRAIL 라이선스를 적용했다.