HuggingFace, 오픈 LLM용 CAI 레시피 공개
Constitutional AI with Open LLMs
·2024.02.01 09:00
HuggingFace가 오픈 소스 모델을 위한 **Constitutional AI** 구현 방법론과 관련 도구, 데이터셋을 공개했다.
Anthropic이 제안한 **Constitutional AI(CAI)**는 모델이 스스로 정의된 원칙(Constitution)에 따라 자신의 답변을 비판하고 수정하며 정렬(Alignment)하는 기술이다. HuggingFace는 이를 오픈 소스 모델에 적용할 수 있는 엔드투엔드 레시피와 도구를 공개했다.
주요 공개 자산은 다음과 같다:
- llm-swarm: TGI 및 vLLM을 기반으로 Slurm 클러스터에서 대규모 합성 데이터 생성을 지원하는 추론 도구.
- 데이터셋: Anthropic 및 Grok의 원칙을 기반으로 구축된 harmlessness 데이터셋.
- 모델: Mistral-7B를 기반으로 Anthropic 및 Grok의 원칙을 학습시킨 SFT 및 DPO 모델.
- 레시피: Alignment Handbook에 포함된 CAI 구현 소스 코드.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.