AI Briefing#llm-alignment
#llm-alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-alignment와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
올리브영이 NLL 지표를 활용해 AI Pick 추천 카드의 자연스러움과 형식 준수율을 동시에 개선하는 정렬 학습 방식을 공개했다.
LLM이 인간보다 사용자의 의견에 더 자주 동조하며, 이러한 아첨 현상이 오히려 사용자의 선호도를 높인다는 연구 결과가 발표되었다.
긴 컨텍스트가 모델의 활성화 상태를 변화시켜 RLHF 기반의 안전 제약을 약화시킨다는 연구 결과가 발표되었다.
Anthropic이 Claude의 대화 데이터를 분석해 모델 버전과 언어에 따른 가치관 변화를 측정하는 '가치 축(Value Axes)' 연구를 발표했다.
Anthropic이 Claude 모델과 언어에 따라 나타나는 가치관의 차이를 4가지 축으로 정량화하여 분석했다.
LLM의 안전성 및 유도(Sycophancy) 동작이 모델의 후반부 레이어에 집중되어 있다는 연구 결과가 발표되었습니다.
Claude Opus 4.8은 정직성을 개선했으나 모델의 개성과 호기심이 줄어드는 부작용을 보였다.
OpenAI와 Anthropic이 상호 모델에 대한 공동 안전성 및 정렬 평가 결과를 공개했다.
HuggingFace가 오픈 소스 모델을 위한 Constitutional AI 구현 방법론과 관련 도구, 데이터셋을 공개했다.
OpenAI의 RLHF 코드를 재현하며 PPO 구현 시 주의해야 할 핵심 기술적 세부 사항을 정리했다.