NeuML, 90K 파라미터 Atto 모델로 MiniLM 대비 89% 성능 달성

NeuML, 파라미터 840개부터 시작하는 초소형 검색 임베딩 모델 Atto 공개 (feat. ColBERT, txtai)

·2026.11.22 11:30

핵심 내용

NeuML이 840개 파라미터부터 28M까지의 초소형 검색 임베딩 모델 Atto 34개를 Apache 2.0으로 공개했다.

1 / 4

자세히 보기

  • 파라미터 840개부터 28M까지의 초소형 검색 임베딩 모델 Atto 34개를 Hugging Face에 Apache 2.0 라이선스로 공개함
  • 90K 파라미터 모델이 MiniLM 대비 약 89% 성능을 내며, 28M 모델은 MiniLM을 초과하는 nDCG@10 0.5138 기록
  • 내부 처리 차원과 최종 임베딩 차원을 분리하는 아키텍처를 적용해 파라미터 효율을 극대화함
  • 영어 위키백과 기반 학습으로 한국어 처리 불가하며, query/document 접두어 미적용 시 성능이 크게 저하됨
  • 8192차원 모델은 100만 건 색인 시 33GB 용량이 필요해 저장 비용이 모델 파일 크기보다 훨씬 큼

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.