bert-base-uncased: 110M 파라미터로 문장 맥락 읽는 NLP의 표준

문장 내 빈칸을 채우는 Masked Language Modeling 방식으로 학습된 110M 파라미터 규모의 Transformer 모델이다. 단어를 순서대로 처리하는 RNN이나 앞뒤 맥락을 제한적으로 보는 GPT와 달리, 문장 전체의 양방향 맥락을 동시에 파악해 단어 간 관계를 이해한다.

원본 텍스트에 라벨을 붙이지 않고 BookCorpus와 영어 위키백과 데이터로 사전 학습을 마쳤다. 분류, 토큰 인식, 질문 답변 등 문장 단위의 판단이 필요한 작업에 파인튜닝하여 활용하는 것이 기본 사용법이다.

대소문자와 악센트를 구분하지 않는 uncased 버전으로, 영어 전용으로 설계됐다. PyTorch, TensorFlow, JAX 등 주요 프레임워크를 모두 지원하며, Glue 벤치마크에서 평균 79.6점의 성능을 기록해 경량화된 NLP 파이프라인의 기준점으로 자리 잡았다.