AI21과 AWS의 생성형 AI 해커톤

AI21과 AWS가 공동으로 연 해커톤에는 50여 명의 AWS 솔루션 아키텍트와 선별된 GenAI 실무자가 참여해 고객 지원, 근거 기반 콘텐츠 생성, LLM 가드레일 같은 실제 과제를 다뤘다. 행사는 AWS 임원 후원 아래 진행됐다.

AI21은 리테일, 금융서비스, 헬스케어 등에서 생성형 AI(GenAI) 가 어떻게 쓰이는지 설명하고, 프롬프트 엔지니어링 가이드와 환각·부정확성 완화 방법을 공유했다. 특히 범용 LLM보다 특정 작업에 맞춰 설계된 TSM(Task Specific Models) 이 더 효율적이고 신뢰할 수 있으며, 정확하고 데이터에 근거한 응답으로 시간 대비 가치를 높인다고 강조했다.

실습 과제는 다음과 같았다.

• LLM 가드레일: 파란팀과 레드팀 방식으로 프롬프트 인젝션 공격을 막고 주제 이탈을 방지
• 근거 기반 콘텐츠 생성: 상품 데이터 등 원천 데이터로 상업용 콘텐츠 생성
• 고객 지원 강화: 과거 해결 티켓을 활용해 현재 케이스 답변 보조
• 문서 다중 요약: 흩어진 문서와 대규모 코퍼스에서 구조화 요약
• 광고 제작: 아이디어 발상, 콘텐츠 생성, 로컬라이제이션, 타기팅, 소셜 연동 자동화
• 콜 트랜스크립트 요약: 대화 기록에서 일관된 요약과 정보 추출

핵심은 RAG(Retrieval Augmented Generation) 로 엔터프라이즈 데이터에 답변을 묶어 두는 것이었다. Contextual Answers TSM은 Jurassic-2 LLM과 함께 고객 챗봇에 쓰여 조직 지식베이스를 검색한 뒤 데이터에 근거한 응답을 제공할 수 있고, AI21 모델은 Amazon Bedrock, Amazon SageMaker, Amazon OpenSearch, Amazon Lex, AWS Lambda 등 AWS 네이티브 서비스와도 통합됐다.