laya-multilingual: 100개 언어 텍스트 분류, 322M 파라미터로 2배 빠르게

텍스트, 이메일, 티켓 등 다양한 입력과 질문을 받으면 확률 기반의 유형화된 답변을 즉시 반환한다. 생성형 모델과 달리 텍스트 생성 과정이 없어 파싱 오류나 환각 현상이 발생하지 않는다. 단일 forward pass로 처리하므로 응답 지연이 짧고 예측 가능성이 높다.

mmBERT-base 인코더를 기반으로 한 322M 파라미터 모델로, 100개 이상의 언어를 지원한다. 영어 전용 모델 대비 비영어권 언어에서 정확도가 크게 향상되었으며, 특히 아랍어, 힌디어, 한국어 등에서 사용 가능한 수준의 성능을 보인다. 10개 질문 기준 72.3ms로 처리 속도가 영어 모델보다 약 2배 빠르다.

Router 기능을 통해 입력 언어에 따라 영어 모델과 다국어 모델을 자동으로 분기할 수 있다. 사전 학습된 체크포인트를 메모리에 상주시켜 언어 전환 시 로딩 지연을 없앨 수 있다. Apache 2.0 라이선스로 상업적 사용이 가능하며, 낮은 리소스 환경에서도 효율적으로 배포할 수 있다.