Replit의 새로운 AI 모델, Hugging Face에서 이용 가능

Replit이 새로운 코드 생성 언어 모델인 Replit Code V1.5 3B를 Hugging Face에 공개했다. 이번 모델 출시는 Replit AI를 모든 사용자에게 무료로 제공한다는 발표와 함께 진행되었다.

이 모델은 특정 애플리케이션을 위한 미세 조정(fine-tuning)을 위한 기초 모델로 설계되었으며, 상업적 이용에 대한 제약이 적다. Stack 데이터셋과 StackExchange의 공개 데이터를 포함한 1조 개의 토큰을 기반으로 학습되었다.

주요 특징은 다음과 같다:

• 3B 규모 모델 중 최고 수준의 HumanEval 및 Multi-PLe 성능
• 32K 어휘를 통한 30개 이상의 프로그래밍 언어 지원
• Grouped Query Attention, Flash Attention Triton Kernels, ALiBi 등 최신 기술 적용
• 코드 품질 필터링 및 유해 콘텐츠 제거를 통한 고품질 데이터 확보

특히 Replit 사용자 코드로 미세 조정 시, CodeLlama 7B와 같은 더 큰 모델을 능가하는 성능을 보여준다. 사용자는 transformers 라이브러리를 통해 코드 완성 작업에 모델을 즉시 활용할 수 있다.