포스트 트레이닝, LLM 유머는 높이나 다양성은 감소

새로운 연구는 Tulu 3(Llama 3.1 70B 기반), OLMo 3.1 32B, Qwen2.5 등 베이스 모델과 포스트 트레이닝된 모델의 유머 능력을 비교했습니다. 연구진은 100개의 농담 프롬프트로 11단계의 학습 과정을 추적했으며, 64명의 인간 평가자가 2,330건의 비교 평가를 진행했습니다.

주요 발견

• 유머 증가: 7단계 중 5단계에서 포스트 트레이닝된 모델이 베이스 모델보다 더 재미있는 농담을 생성했습니다.
• 다양성 감소: 7단계 중 6단계에서 동일 프롬프트에 대한 농담의 다양성이 줄었습니다. 한 전제로 8개의 농담을 요청하면 대부분 유사한 변형이 나왔습니다. 특히 Qwen2.5 베이스에서 인스트럭트 모델로 전환할 때 다양성 감소가 가장 두드러졌습니다.
• 짧아진 펀치라인: 초기 포스트 트레이닝 단계 이후 농담이 10~20단어 짧아져 펀치라인에 더 빠르게 도달했습니다.

프롬프트 전략

연구진은 특정 프롬프트 기법도 테스트했습니다.

• 계획 수립: 농담 전에 1~2줄의 계획을 세우게 하는 방식은 테스트된 4개 모델 모두에서 다양성을 감소시켰으며, 재미 향상은 신뢰할 수 없었습니다.
• 페르소나: 코미디언 페르소나를 적용하면 4개 모델 모두에서 다양성이 일부 회복되었으나, 재미가 증가한 모델은 2개에 불과했습니다.

평가 방법론으로는 베이스 모델과 최종 모델 비교에 인간 평가자를 사용했고, 중간 학습 단계 비교에는 보정된 모델 평가자를 활용했습니다.