대화형 AI 에이전트 기술 및 모델 비교

ChatGPT의 성공 요인인 RLHF, IFT, CoT, Red teaming 등의 기술을 살펴보고, 주요 대화형 AI 에이전트들의 기술적 지형을 분석한다.

주요 대화형 에이전트 비교 Google의 LaMDA, Meta의 BlenderBot 3, DeepMind의 Sparrow, OpenAI의 ChatGPT(InstructGPT), Anthropic의 Assistant를 모델 크기, 학습 데이터, 접근성, 평가 기준 등을 바탕으로 비교한다. 모든 모델의 공통적인 목표는 사용자의 지시를 따르는 지시 이행(Instruction Following) 능력이다.

지시 미세 조정(Instruction Fine-Tuning, IFT) 기본 언어 모델의 단순 텍스트 예측 능력을 넘어, 사용자의 의도를 정확히 수행하기 위해 IFT가 핵심적으로 사용된다. IFT는 다양한 작업에 대한 지시문(Instruction), 입력(Input), 출력(Output) 세트로 구성된 데이터를 통해 모델을 학습시킨다. 이러한 데이터는 사람이 직접 작성하거나 언어 모델을 통해 생성(Bootstrapping)된 데이터를 활용한다.