AI BriefingModernBERT 공개: 차세대 BERT 대체제
Finally, a Replacement for BERT: Introducing ModernBERT
·2024.12.19 09:00
핵심 내용
8,192 토큰의 긴 컨텍스트와 향상된 성능을 갖춘 차세대 BERT 대체 모델, ModernBERT가 공개되었습니다.
자세히 보기
Answer.AI와 LightOn이 기존 BERT의 한계를 극복한 차세대 인코더 모델인 ModernBERT를 공개했습니다. ModernBERT는 속도와 정확도 모두에서 기존 모델들을 능가하는 성능 향상을 제공합니다.
주요 특징:
- 8,192 토큰 지원: 기존 인코더 모델의 한계인 512 토큰을 대폭 확장하여 긴 문맥 처리가 가능합니다.
- 모델 규모: Base(149M) 및 Large(395M) 모델로 제공됩니다.
- 코드 학습: 대량의 코드를 학습 데이터에 포함하여 코드 검색 및 IDE 기능에 최적화되었습니다.
- 높은 효율성: Flash Attention 2를 지원하여 처리 속도를 극대화할 수 있습니다.
ModernBERT는 RAG, 추천 시스템, 분류 등 기존 BERT 기반 태스크에 즉시 적용 가능한 Slot-in replacement로 설계되었습니다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
