Hugging Face, SafeCoder 출시

Hugging Face가 기업의 보안과 규정 준수를 위해 설계된 엔드 투 엔드 상용 코드 어시스턴트 솔루션 SafeCoder를 발표했다.

SafeCoder는 모델이 아닌 완전한 솔루션으로, 학습 및 추론 과정에서 코드가 고객의 VPC(가상 사설 클라우드)를 절대 벗어나지 않는다. 고객은 자신의 인프라에 직접 설치하는 Self-hosted 방식을 통해 기업 고유의 코드로 미세 조정된 독자적인 Code LLM을 소유할 수 있다.

StarCoder 모델 제품군을 기반으로 하는 SafeCoder의 주요 특징은 다음과 같다:

• 상업적 안전성: 윤리적으로 수집된 오픈 소스 데이터셋인 The Stack을 사용하여 학습됨.
• 추론 최적화: Multi-Query Attention 및 Flash Attention을 적용하여 메모리 효율성과 긴 컨텍스트 지원.
• 보안 중심 설계: 컨테이너화된 하드웨어 가속 추론 솔루션을 제공하여 기업의 보안 환경 내에서 데이터 유출 없이 작동.