Google, 코드 특화 모델 'CodeGemma' 공개
CodeGemma - an official Google release for code LLMs
·2024.04.09 09:00
Google이 코드 생성 및 수학적 추론에 최적화된 CodeGemma 모델 시리즈를 출시했다.
Google이 Gemma를 기반으로 코드 작업에 특화된 CodeGemma 모델 제품군을 출시했다. 이 모델들은 약 5,000억 개의 추가 토큰(영어, 수학, 코드 데이터)을 학습하여 논리적 및 수학적 추론 능력을 강화했다.
CodeGemma는 세 가지 버전으로 제공된다:
- CodeGemma 2B: 코드 인필링(Infilling)에 특화되어 빠른 코드 완성 및 생성에 적합하다.
- CodeGemma 7B: 코드 인필링과 자연어 학습을 병행하여 코드 이해 및 생성에 최적화되었다.
- CodeGemma 7B Instruct: 코드 관련 대화 및 수학적 추론을 위한 지시 이행(Instruction following) 모델이다.
모든 모델은 8K 토큰 컨텍스트 창을 지원한다. 성능 면에서 CodeGemma 7B는 HumanEval 및 MultiPL-E 벤치마크에서 유사 규모 모델 중 최상위권 성능을 보였으며, 특히 GSM8K 벤치마크에서 뛰어난 성과를 기록했다.
Hugging Face 생태계와의 통합을 통해 Transformers 라이브러리, Google Cloud, Inference Endpoints에서 즉시 사용할 수 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.