NVIDIA, 도메인 특화 임베딩 모델 구축 가이드 공개

RAG(검색 증강 생성) 시스템 구축 시 일반적인 임베딩 모델은 계약서, 제조 로그, 내부 분류 체계 등 특정 도메인의 미세한 차이를 포착하지 못하는 한계가 있다. NVIDIA는 단일 GPU와 하루 미만의 학습 시간으로 도메인 특화 임베딩 모델을 구축할 수 있는 기술 레시피와 오픈소스 도구를 공개했다.

이 프로세스의 핵심은 수동 라벨링 없이 합성 데이터 생성(SDG) 기술을 사용하는 것이다. NeMo Data Designer를 통해 LLM이 도메인 문서를 분석하여 고품질의 질문-답변 쌍을 자동으로 생성하며, 이를 통해 학습 데이터를 확보한다.

주요 성과 및 특징은 다음과 같다:

• 성능 입증: Atlassian은 이 레시피를 JIRA 데이터셋에 적용하여 Recall@60 성능을 0.751에서 0.951로 약 26% 개선했다.
• 효율적 모델: Llama-Nemotron-Embed-1B-v2 모델을 기반으로 하며, 품질과 추론 비용 사이의 균형을 맞췄다.
• 통합 워크플로우: 데이터 생성(NeMo Data Designer), 모델 학습(NeMo Automodel), 평가(BEIR), 배포(NVIDIA NIM)를 아우르는 전체 파이프라인을 제공한다.

학습을 위해서는 NVIDIA Ampere 아키텍처 이상의 GPU(80GB 메모리 권장)와 NVIDIA API 키가 필요하다.