AWS에 출시된 Solar Pro

Upstage가 차세대 LLM Solar Pro를 AWS에 출시했다. 모델은 Amazon Bedrock Marketplace, Amazon SageMaker JumpStart, AWS Marketplace에서 제공되며, 의료·금융·법률 등 다양한 산업에 맞게 커스터마이징과 fine-tuning이 가능하다.

Solar Pro는 22B parameters 규모로, 이전 10.7B 모델인 Solar Mini보다 크며 핵심 benchmark에서 50% 성능 향상을 보였다고 밝혔다. September preview에서는 HuggingFace Open LLM Leaderboard의 70B 미만 모델 부문, EQ Bench Leaderboard, Predibase Fine-Tuning Leaderboard에서 상위 성과를 냈다.

학습은 Amazon SageMaker에서 진행됐고, advanced data pre-processing과 continued pre-training으로 training time을 크게 줄였다. 학습 데이터는 Upstage가 주도한 1 Trillion Token Club의 데이터를 활용했으며, 저작권 없는 영어·한국어 텍스트, 책, 뉴스, 보고서 등을 포함해 문화적 맥락 이해와 응답 정확도를 높이고 hallucination을 줄이는 데 초점을 맞췄다.

핵심 기술은 Upstage의 Depth-Up Scaling (DUS) 이다.

• single-GPU deployment에 맞게 모델을 압축하면서 성능을 유지
• 같은 결과를 내려면 없었을 때보다 거의 4배 큰 모델이 필요했다고 설명
• 큰 인프라 업그레이드 없이도 생성형 AI를 쓸 수 있게 설계

배포 측면에서는 Amazon Bedrock Marketplace에서 100개가 넘는 모델 중 선택할 수 있고, Guardrails와 Agents 같은 도구, 보안·프라이버시 기능, fully managed endpoints를 활용할 수 있다. 의료·금융·법률 문서 처리뿐 아니라 invoices, contracts, regulatory filings 같은 multi-page 문서를 이해하고 구조화된 정보로 추출하는 용도로도 강조됐다.

도입 사례도 제시됐다. MFDS는 내부 매뉴얼로 학습한 LLM chatbot을 공공용으로 개발해 화장품 규정 관련 문의를 실시간으로 처리하고, Sendbird는 Solar를 no-code generative AI chatbot 솔루션에 통합해 웹과 모바일 앱용 고객 지원 챗봇 구축을 지원하고 있다. 회사는 Intel, Poe by Quora, you.com, Sendbird 등 글로벌 기업들이 Solar Pro를 활용 중이라고 덧붙였다.