LLM 기반 제품 개발

AI21 Labs는 LLM 기반 제품 개발을 준비, 구축, 배포, 모니터링의 4단계로 나눠 설명한다. 핵심은 모델을 고르기 전에 데이터 접근성, 보안, 이해관계자 역할부터 정리하는 것이다.

준비 단계에서는 CEO·CTO·PM뿐 아니라 데이터 과학자, 데이터 엔지니어, 소프트웨어 엔지니어, DevOps, 디자이너, 법무·컴플라이언스, 비즈니스 분석가, 도메인 전문가를 함께 붙여 요구사항과 제약을 확정한다. 외부 벤더와 공유할 수 없는 민감 데이터가 있으면, 이 단계에서 대체 방식을 먼저 설계해야 한다.

구축 단계에서는 다음 순서로 작업한다.

• 언어 모델 선택: 비용, 성능, 복잡도를 기준으로 결정
• user flow와 wireframe: 입력 형식과 기대 출력을 정의
• Data Curation: 학습·평가용 예시 입력과 출력 수집
• Training / Prompt Engineering: 추가 학습 또는 프롬프트 설계로 맞춤화
• Parameters 조정과 Model Evaluation: 응답 품질 검증
• Pre-processing / Post-processing: 입력 정제와 출력 보정

이커머스 상품 설명 생성기 예시에서는 foundation model 위에 Brand Guidelines, Product Details, Instruction을 분리한 3단 프롬프트 구조를 제안한다. 고정 섹션과 변수 섹션을 분리하면 대량 생성의 일관성과 확장성을 확보할 수 있지만, 최종 품질은 사람이 계속 모니터링해야 한다.

배포는 API, SDK, 클라우드 서버로 수행할 수 있고, AI21 모델은 Amazon SageMaker, Amazon Bedrock, Google Cloud Platform에서도 활용할 수 있다. 출시 전 QA와 테스트를 거친 뒤에는 사용자 반응, 참여도, 매출 영향, 벤더와의 지속적 커뮤니케이션을 통해 제품을 계속 개선해야 한다.