AI에 신뢰를 쌓는 법

Amazon은 **RAI(Responsible AI)**를 제품의 부가 기능이 아니라 기본 설계로 두고, 과학팀과 정책팀이 함께 위험을 사전 예측하고 모호성을 다루며 변화에 적응하는 시스템을 만든다. 이를 위해 pretraining, post-training, evaluation, third-party monitoring까지 이어지는 파이프라인을 운영하고, 70개 이상의 내부·외부 도구와 500편 이상의 연구, 수만 시간의 교육을 축적했다.

• Pretraining에서는 안전, 보안, 공정성 원칙을 담은 데이터와 학습 과제를 추가해 모델이 정책을 이해하게 만든다.
• 유해한 내용은 단순히 제거하지 않고, 맥락을 붙여 다시 학습시켜 모델이 위험을 인지하도록 한다.
• 텍스트뿐 아니라 이미지와 오디오까지 아우르도록 modality alignment를 연구하고, perplexity와 희소 질문으로 학습 여부를 점검한다.

RLHF 단계에서는 인간의 선호와 정책 적합성을 보상으로 바꿔 모델의 판단 기준을 맞춘다. 인간이 응답을 비교해 만든 auxiliary-reward model과, rubrics를 보고 점수를 매기는 독립 LLM judge를 함께 써서 정책을 지키는 응답을 강화한다.

평가팀은 학습 중에는 경량 벤치마크로 방향 신호를 확인하고, 학습이 끝나면 저장된 checkpoint를 넓은 테스트셋으로 비교해 최적 지점을 찾는다. 정책 위반을 유도하는 model-breaking datasets를 만들고, privacy and security, safety, fairness, veracity and robustness, explainability, controllability, governance, transparency의 8개 축으로 모델을 검증한다. 데이터는 red teamers, 외부 보안 파트너, 대학 공개 벤치마크, 소셜미디어에서 수집하며, 장기 상호작용에서의 deception 탐지와 자동 red-teaming도 함께 연구한다.

가장 민감한 frontier risks에는 CBRN 공격 연구와 cyberattack 악용이 포함된다. Amazon은 자동 벤치마크와 외부 전문가 검토로 위험을 판별하고, 신뢰된 연구자에게는 heavy monitoring이 붙은 제한적 접근과 LoRA 기반 configurability를 검토한다.