머신러닝 엔지니어가 퍼즐 게임을 더 재미있게 만드는 방법

데브시스터즈는 쿠키런: 마녀의 성의 레벨 밸런싱을 위해 강화학습(Reinforcement Learning) 기반의 퍼즐봇을 활용하고 있다.

기존의 스테이지 폴리싱(Polishing) 과정은 작업자의 직감에 의존하는 경향이 있어 주관적일 수 있고, 스테이지 수가 늘어날수록 효율이 떨어진다는 한계가 있었다. 이를 해결하기 위해 데브시스터즈는 퍼즐봇 데이터를 기반으로 스테이지를 객관적으로 평가할 수 있는 스테이지 평가 지표를 구축했다.

평가 지표의 핵심 기준은 유저가 게임 클리어에 실패했을 때 이어하기 및 하트 구매 후 재시도를 하는 비율이다. 이는 유저가 결제를 해서라도 클리어하고 싶어 하는 '매력적인 스테이지'를 의미한다.

전작인 쿠키런: 퍼즐월드의 데이터를 분석한 결과, 실패 시 남은 미션 수가 적을수록 유저의 재시도 비율이 높다는 상관관계를 확인했다. 이를 바탕으로 두 가지 방식의 지표를 설계했다.

• 남은 미션 수의 전체적인 분포: 남은 미션 수가 0에 가까울수록 높은 가중치를 부여하여 정규화한 지표
• 특정 비율 혹은 특정 개수 관점의 지표: 총 미션 수 대비 특정 비율 이하의 미션만 남기고 실패한 플레이의 비율