AWS와 Cohere, 금융 리서치 어시스턴트 구축 가이드 공개

• AWS와 Cohere가 10-K 보고서 등 복잡한 문서를 처리하는 금융 리서치 어시스턴트 구축 튜토리얼을 제공함. Embed, Rerank, Parse를 활용함.
• Cohere 내부 평가 결과, Rerank 5의 Context Focus 기능이 답변 정확도의 대부분을 유지하면서 입력 토큰을 50-75% 절감함.
• 100개 이상 언어와 128K 토큰 컨텍스트 윈도우를 지원하여 번역 단계 없이 다국어 검색이 가능함.
• Bank of America, Morgan Stanley, Wells Fargo의 2024년 연례 보고서 928페이지를 활용한 데모가 AWS 인프라에서 파이프라인을 시연함.

Architecture and Model Selection

• 인덱싱에는 Embed Pro, 쿼리에는 Embed Fast를 사용해 속도와 비용을 최적화하는 아키텍처를 권장함. 두 모델은 동일한 임베딩 공간을 공유함.
• 임베딩 벡터는 float, int8, binary 형식으로 256에서 2,048차원까지 설정 가능함. 1,024차원 int8은 2,048차원 float32 대비 저장 용량을 8배 줄임.
• Parse는 페이지 이미지를 바운딩 박스가 포함된 Markdown으로 변환하여 스캔 문서나 복잡한 테이블에 유용함. GPU 엔드포인트 시간당 과금 방식임.

Implementation and Deployment

• 데모는 GPU 추론을 위해 us-east-1 리전의 ml.g5.xlarge 인스턴스와 저장을 위해 OpenSearch Serverless를 사용함.
• GPU 요구 사항을 최소화하기 위해 인덱싱과 쿼리 모두 Embed Pro를 사용하고, Rerank Pro 대신 Rerank Fast를 적용함.
• 배포는 AWS CloudFormation 템플릿을 통해 가능하며, 코드는 aws-samples/Cohere-on-AWS GitHub 저장소에 공개됨.
• 프로덕션 배포 시 VPC 엔드포인트, 프라이빗 액세스, Identity Provider 연동, 고객 관리 AWS KMS 키를 통한 암호화를 권장함.