StackLLaMA: RLHF 기반 LLaMA 학습 가이드

Hugging Face가 **RLHF(Reinforcement Learning from Human Feedback)**를 활용해 LLaMA 모델을 Stack Exchange 질문에 답변하도록 학습시키는 전체 과정을 담은 StackLLaMA 모델과 기술 가이드를 공개했다.

학습 과정은 다음 세 가지 핵심 단계로 구성된다:

• SFT (Supervised Fine-tuning): 지도 학습을 통한 미세 조정
• RM (Reward Modeling): 보상 모델링을 통한 선호도 학습
• RLHF: 인간의 피드백을 통한 강화 학습

데이터셋으로는 질문과 답변의 추천수(upvotes) 및 채택 여부를 활용한 Stack Exchange 데이터를 사용했다. 이를 통해 모델이 어떤 답변을 더 선호해야 하는지 학습할 수 있는 데이터 쌍을 생성했다.

7B 규모의 LLaMA 모델 학습 시 발생하는 막대한 메모리 문제를 해결하기 위해 PEFT(Parameter-Efficient Fine-Tuning) 기술과 Hugging Face의 TRL(Transformer Reinforcement Learning) 라이브러리를 활용한 효율적인 학습 전략을 제시한다.

StackLLaMA 모델은 Hugging Face Hub에서 확인할 수 있으며, 전체 학습 파이프라인은 TRL 라이브러리를 통해 오픈소스로 제공된다.