강화학습을 활용한 게임 밸런싱 자동화

퍼즐 게임의 재미를 결정하는 핵심 요소인 밸런싱은 수많은 변수와 랜덤 요소로 인해 사람이 직접 수행하기에 한계가 있다. 특히 쿠키런: 퍼즐 월드의 경우, 다양한 쿠키와 맵, 강화 시스템을 모두 고려하면 약 1,152만 판의 테스트가 필요하며, 이를 사람이 직접 플레이할 경우 8,000일이 소요된다.

이 문제를 해결하기 위해 **강화학습(Reinforcement Learning)**을 도입했다. 규칙 기반의 봇은 복잡한 퍼즐 규칙과 업데이트되는 로직을 따라가기 어렵지만, 강화학습은 시행착오를 통해 스스로 최적의 플레이를 학습할 수 있다.

효율적인 학습을 위해 다음과 같은 기술적 접근을 시도했다:

• Cython 기반 Mock 환경: 기존 Unity ML Agent는 학습 속도가 느려 실험에 3일이 소요되었으나, 핵심 로직을 구현한 Cython Mock 환경을 통해 학습 시간을 반나절로 단축했다.
• PPO(Proximal Policy Optimization): 고차원의 Action Space에서 효율적으로 수렴하는 PPO 모델을 에이전트로 채택했다.
• ResNet 기반 Policy Network: 젤리의 상태를 인식하기 위해 이미지 인식에 탁월한 ResNet을 활용했다.

학습 과정에서 발생하는 수렴 문제를 해결하기 위해, 젤리의 색상 자체보다 '매칭 가능 여부'와 같은 게임의 물리적 특성을 모델에 반영하여 성능을 개선하고 있다.