신입 디자이너가 꼭 알아야 할 실험 설계 노하우

비회원 가입 전환율을 높이는 첫 과제를 맡았을 때 가장 먼저 부딪힌 문제는, 이탈 구간이 여러 개인 상황에서 어디부터 개선할지 정하는 일이었다. 동의 화면과 신분증 인증 화면은 공통 모듈 성격이 강하고 리걸/컴플라이언스 검토가 필요해 실험 속도가 느렸고, 반대로 인트로 화면은 빠르게 반복할 수 있으면서 전체 전환에 미치는 영향도 컸다. 그래서 속도와 임팩트를 함께 따져 인트로부터 개선하기로 했다.

기존 실험을 먼저 훑어보며, 이미 많은 시도가 있었고 기존안을 명확히 이기지 못한 사례도 적지 않다는 점을 배웠다. 단순히 승패만 보는 대신, 어떤 문제에서 출발했는지, 왜 그런 가설을 세웠는지, 검증을 위해 실험안을 어떻게 짰는지를 읽어야 했다. 실험 경험이 적을수록 새 아이디어를 빨리 내는 것보다, 기존 러닝을 구조적으로 해석하는 시간이 더 중요했다.

첫 실험은 상담원과 선택지를 강조한 안이었지만 실패했다. "선택지가 적으니 전환율이 오를 것"이라는 가설이 모호했고, 실제로는 기존안이 이미 CTA 버튼이 하나라서 새 안이 오히려 버튼만 늘린 셈이 됐다. 사용자가 왜 이 화면에 들어왔는지, 정말 추천이 필요한 상황인지 충분히 보지 못한 채 가설부터 세워서 흔들렸고, 그 뒤로는 화면을 만들기 전에 기존 맥락을 먼저 분석하는 방식으로 바꿨다.

다음에는 새 시안을 급하게 만들기보다, 기존 인트로 화면의 문제를 분명히 짚었다. 문구가 매력적이지 않아 사용자가 관심 있는 지점이 드러나지 않았고, 이미지 로딩도 느려 저사양 기기에서는 2~3초나 걸렸다. 과거 러닝에서 고금리 상품, 매일 이자 받기 같은 키워드가 유효하다는 점을 반영해 문구를 바꾸고, 최신 그래픽과 저용량 확장자를 적용해 로딩 속도도 개선했다. 그 결과 문구와 이미지만 바꿔도 클릭률과 전환율이 함께 상승했다.

이후에는 유저가 구체적인 장면을 상상할 수 있는 표현을 실험했다. 기능 설명 중심의 문구 대신, 사용자가 가장 빠르게 이익을 체감할 상황을 먼저 보여주도록 바꿨고, 그 결과 CTR이 5% 상승하고 CVR도 유의미하게 개선됐다. 같은 내용이라도 표현 방식에 따라 첫인상이 크게 달라진다는 점을 확인했고, 화면에 노출되는 모든 요소를 더 세심하게 봐야 한다는 결론에 도달했다.

핵심은 세 가지다.

• 빠르게 실험할 수 있는 구간부터 고른다.
• 과거 실험의 승패보다 왜 그런 결과가 났는지 읽는다.
• 가설은 한 번에 하나만 검증할 만큼 뾰족하게 세운다.

실패한 실험은 많았지만, 가설이 명확할수록 방향성은 흔들리지 않았고 실패조차 다음 실험의 힌트가 됐다. 실험은 성공 여부를 확인하는 과정이 아니라, 다음 선택을 더 빠르고 선명하게 만들기 위한 과정이었다. 처음 시작할 때는 거창한 해답보다, 작게 시작하되 가설을 선명하게 세우는 것이 더 중요하다.