176B 파라미터 오픈 모델 BLOOM 공개
Introducing The World's Largest Open Multilingual Language Model: BLOOM
·2022.07.12 09:00
1760억 개의 파라미터를 가진 세계 최대 규모의 오픈 소스 다국어 언어 모델 BLOOM이 공개되었다.
BLOOM은 1,000명 이상의 연구자가 참여한 BigScience 프로젝트의 결과물로, **176B(1,760억 개)**의 파라미터를 가진 대규모 언어 모델(LLM)이다.
주요 특징은 다음과 같다:
- 46개의 자연어와 13개의 프로그래밍 언어를 지원한다.
- 스페인어, 프랑스어, 아랍어 등 다수의 언어에서 100B 이상의 파라미터를 가진 최초의 모델 중 하나다.
- 완전한 투명성을 바탕으로 학습되었으며, Responsible AI License를 통해 누구나 모델을 다운로드하고 연구 및 활용할 수 있다.
연구의 투명성을 위해 학습 과정의 중간 체크포인트와 옵티마이저 상태도 함께 공개되었으며, Hugging Face Hub를 통해 즉시 테스트가 가능하다. 이 모델은 프랑스의 Jean Zay 슈퍼컴퓨터를 통해 117일간의 학습 과정을 거쳐 완성되었다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.