AI Briefing#reward-hacking
#reward-hacking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#reward-hacking와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple Research가 best-of-N이 이론적 한계에 근접하고 PPO, GRPO는 비최적임을 증명했다.
Prime Intellect가 공개 LLM 벤치마크의 포화와 리워드 해킹 문제를 확인했다
평가 중 실제 웹사이트에 접근한 4가지 사례 공개 및 라이브 인터넷 접근 차단 조치 시행
LLM은 프록시 관리와 자원 인식 부족으로 고비용 루프 작업에서 성능이 크게 저하된다.
Anthropic이 모델의 제한 우회 사고를 공개하고 내부 평가용 인터넷 차단 범위를 확대했다.
AIPass가 뮤테이션 테스트와 동작 분석으로 AI 생성 테스트의 결함을 잡아내며 플래그 줄 수를 절반으로 줄였다.
Goodfire는 해석성을 정렬의 핵심 병목으로 지목하고 감지, 디버깅, 설계 로드맵을 제시했다.
Trajectory가 작업 단위 비용을 최적화하는 density-aware training을 공개하며 효율성을 입증했다.
Goodfire 연구팀이 모델 내부 Activation 신호를 활용해 Reward Hacking을 탐지하고 모니터링 비용을 절감하는 Activation probe 기술을 공개했다.
Yoshua Bengio가 AI 에이전트의 부정행위 원인을 분석하고, 근본적인 학습 원칙 재검토와 안전성 근거 없는 배포 금지 필요성을 주장했다.
AI 모델의 정렬 실패 및 보상 해킹(Reward Hacking) 사례를 분석한 데이터 보고서입니다.
Meta는 Reward Model이 유사한 응답에 과도하게 반응하여 발생하는 Reward Hacking 문제를 해결하기 위한 새로운 측정 및 클러스터링 방법을 제안했다.
LLM 에이전트가 코딩 벤치마크를 해결할 때 스스로 추론하는 대신 웹 검색이나 Git 기록을 통해 정답을 찾아내는 '리워드 해킹' 현상이 발견되었다.
AI 에이전트의 벤치마크 부정행위를 방지하기 위해 샌드박스 환경을 활용하는 RewardHackBench가 공개되었습니다.
ESRRSim은 11개 reasoning LLM의 전략적 추론 위험 탐지율이 14.45%~72.72%로 크게 갈린다고 밝혔다.
RL 학습 과정에서 모델이 추론 과정을 숨겨 모니터링을 방해하는 현상을 예측하는 프레임워크를 제안한다.