Laya Decision Model, SageMaker 배포로 Qwen3-235B 대비 5~6배 빠른 개인정보 판정 환경 구성

·2026.11.16 21:43

핵심 내용

Laya는 T4 1장에서 30ms대 판정으로 대형 LLM 대비 지연을 크게 줄이고, 요청 건수와 무관한 인스턴스 고정비로 비용을 절감했다.

1 / 3

자세히 보기

  • 추가 학습한 Laya는 KDPII 테스트에서 정확도 98.5%, 재현율 94.5%를 기록하며 Jev나 대형 LLM과 유사한 오류 수준을 달성함
  • ml.g4dn.xlarge(T4 1장)에서 판정 1건을 35~39ms에 처리하여 Qwen3-235B(220~300ms)나 Claude Haiku 5.5(1,250ms)보다 5~6배 빠름
  • 월 비용은 Laya 약 661달러로 Qwen3-235B(약 11,800달러) 대비 대폭 절감되며, 데이터가 고객 AWS 계정 내에서 처리됨
  • Laya는 텍스트 생성이나 마스킹이 불가하여 Bedrock Guardrails와의 조합이 필요하며, 입력 1,024토큰 초과 시 잘림 발생에 주의해야 함

학습 및 배포 구성

  • Apache-2.0 오픈소스 Laya(mmBERT-base, 3.2억 파라미터)를 SageMaker pytorch 컨테이너로 학습 및 서빙함
  • 학습은 ml.g6e.12xlarge에서 3시간 27분 소요(약 56달러), 서빙은 ml.g4dn.xlarge 2대 권장
  • FastAPI 기반 서빙 앱은 배치 최대 32건 처리하며, CUDA 호환성 패키지로 구형 드라이버 대응함

성능 및 비용 비교

  • 제로샷 Laya는 정확도 19.6%로 낮으나, 합성 데이터 및 KDPII로 재학습 시 정확도 98.5%로 향상됨
  • LLM은 토큰 과금으로 요청량 증가 시 비용이 비례 증가하지만, Laya는 인스턴스 시간 과금으로 고정됨
  • 월 330만 건 미만은 LLM이 비용 효율적이나, 초과 시 자체 Decision Model이 유리함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.