코딩 특화 모델 Code Llama 공개

Code Llama는 Llama 2를 기반으로 코딩 작업에 특화된 7B, 13B, 34B 파라미터 규모의 모델 제품군이다.

주요 특징:

• 학습 데이터: 약 5,000억 개의 코드 토큰을 사용하여 학습되었으며, Python 특화 모델과 자연어 지시를 따르는 Instruction 모델이 포함된다.
• 지원 언어: Python, C++, Java, PHP, C#, TypeScript, Bash 등에서 뛰어난 성능을 보인다.
• 컨텍스트 확장: 기본 16k 컨텍스트 윈도우를 지원하며, RoPE 스케일링 기술을 통해 최대 100,000 토큰까지 확장 가능하다.
• 생태계 통합: Hugging Face의 transformers, Text Generation Inference(TGI), VS Code 확장 프로그램 등과 즉시 연동 가능하다.