어떤 UX 라이팅이, 어떤 UX 디자인이 더 나을까? 많은 경우 서비스를 만드는 사람들이 논의해서 결정하거나, 가장 영향력이 큰 사람의 의견에 따라 정해질 때가 있습니다. 기존 경험과 비교해서 UX에 생긴 변화가 어떤 효과를 가져오는지 확인하는 효과적인 방법이 A/B 테스트입니다. 앱이나 웹에서 A, B 2가지 버전을 무작위로 사용자들에게 보여주고 어느 것이 더 나은지 실험을 통해서 확인하는 것이죠.
A/B 테스트는 이렇게 할 수 있습니다. 조직이 원하는 행동을 더 많이 하는지 테스트하기 위해서 표본으로 정한 A그룹에게 변경사항을 제시합니다. 두 번째 표본 사용자 B그룹은 대조군입니다. 실험이 시작되면 준비된 변경 사항, 예컨대 새로운 디자인을 A그룹에게만 공개하고 B 그룹에게는 공개하지 않습니다. A그룹 행동(예컨대, 장바구니 담기, 결제, 가입 등)이 B그룹과 비교했을 때 의미 있는 결과를 보인다면 A그룹에 실행한 디자인 솔루션을 확대해서 적용할 수 있습니다.
그룹 A, B는 매우 비슷하면서 충분한 인원으로 구성되어야 그 결과가 통계적으로 유의미합니다. 테스트 디자인은 표본에 대한 기준을 고려하면서 동시에 충분한 실험 시간, 무엇을 평가할 행동 지표로 볼 것인지, 실험 그룹 간 유의미한 최소한의 행동 차이를 포함해야 합니다.
[A/B 테스트에서 경험을 평가할 수 있는 6가지 방법]
1️⃣ 온보딩
온보딩 단계는 처음 서비스를 접하는 사용자가 핵심 행동을 수행하는데 평균적으로 걸리는 시간을 확인합니다. 서비스 접속 초기 몇 초간의 경험이 사용자에게 제공하는 정보는 사용자 해동에 큰 영향을 줄 수 있습니다.
핵심 행동 예시
➊ 사용자가 처음으로 이메일, 패스워드를 입력한다
➋ 메인화면을 처음으로 스크롤 다운한다
➌ 처음으로 ‘좋아요’를 누른다.
➍ 처음으로 댓글을 작성한다.
➎ 처음으로 물품을 장바구니에 담는다.
2️⃣ 참여
참여 단계는 특정 시간 동안 얼마나 많은 사용자가 활동 중인지 측정합니다. 여기서 핵심은 ‘활동 중’이라는 상태를 어떻게 정의하는가에 달려있습니다. 앱에서는 ‘앱을 여는 행위’, ‘일정 기한에 앱을 여는 횟수’ 등을 ‘활동 중’ 상태로 정의할 수 있습니다. 현재 많은 서비스들이 참고하는 지표 중 하나는 DAU(일간 사용자 수), MAU(월간 사용자 수)입니다. 단순히 ‘앱을 여는 행위’가 아니라 ‘앱을 열고 3개 이상의 상품을 살펴보는 행위’를 활동 중으로 정의할 수도 있습니다. A/B 테스트를 할 때에는 활동 중이라고 볼 수 있는 상태가 그룹 별로 어떻게 달라지는지 비교하여 평가할 수 있습니다.
3️⃣ 완료
완료 단계는 사용자가 참여를 한 이후 주요 행동을 마칠 때를 측정합니다. 어떤 경우는 참여와 완료의 구분이 없이 끝나는 경우도 있습니다. 예컨대, ‘이미지를 훑어보기’ 또는 ‘좋아요 누르기’에는 참여와 완료가 구분되지 않습니다. 하지만 ‘이미지를 올렸다 공유하기’, ‘댓글을 남겼다가 취소하기’와 같은 행동에는 완료를 하지 않고 참여만 했다고 볼 수 있는 상태가 있습니다. 이때 ‘포기’라는 개념을 통해서 완료 상태를 체크할 수도 있습니다. 물품을 장바구니에 담은 상태에서 결제를 눌렀지만, 신용카드 정보를 입력하지 않고 결제를 취소했다면 서비스 입장에서는 기회를 상실하고 있다고 볼 수 있습니다. 이 상황을 ‘포기’라고 정의하고 ‘완료’ 상태의 지표로 볼 수 있습니다.
4️⃣ 유지
2번 참여 단계가 ‘일간 사용자’, ‘월간 사용자’로 요약된다면 4번 ‘유지’ 단계는 ‘사용자별 지속 사용 날짜 수’로 볼 수 있습니다. 대부분의 서비스는 사용자가 더 자주 접속해서 활성 상태이기를 원합니다. 유지를 측정하는 방법이 ‘사용자가 매일 평균적으로 서비스에 방문하는 횟수’이든, ‘사용자가 연속으로 서비스를 이용하는 날짜’이든 지속적인 관심을 측정하는 지표를 함께 고려하는 것이 중요합니다. 서비스의 유용성, 브랜드에 대한 친밀감을 보여주는 지표이기도 합니다. UX 라이팅이 중요한 영역 중 하나로 경험 전반에 걸쳐 UX 텍스트가 개선될 때, 유지와 관련한 지표는 놀라울 정도로 개선될 수 있습니다. UX 텍스트는 보이스를 반영하기 때문에 개성을 불어넣어 주기도 하고, 사용성을 개선함으로써 더 친근감을 갖고 쉽게 사용할 수 있도록 돕기 때문입니다.
5️⃣ 소개
소개는 Referral을 측정하는 지표로 사용자가 자신의 경험을 다른 사람에게 추천할 때 일어나는 행동입니다. 서비스에 이미지를 게시하고, 자신이 활용하는 다른 SNS 채널에 공유할 때 간접적인 소개가 일어날 수 있습니다. 동시에 ‘친구 초대하기’ 등 이벤트를 통해서 더 많은 사람들에게 직접 소개하는 기회를 제공할 수도 있습니다. UX 콘텐츠가 업데이트되면서 기능성, 사용성 혹은 브랜드에 긍정적 영향을 주면 사용자는 경험을 좋아할 거라고 생각하는 친구나 가족에게 새로운 내용을 소개할 수 있습니다.
6️⃣ 비용 감소
비용 감소는 다른 5가지 방법과 다르게 서비스 운영 과정에서 실질적으로 줄여야 하는 비용에 관해 평가하는 것을 의미합니다. 모든 서비스에는 기능이나 정책을 악용하는 일부 사용자가 존재할 수 있습니다. 이런 사용자들이 많아질수록 운영팀 리소스가 많이 들고, 동시에 정책에 따라 서비스를 사용하는 사용자들에게 불쾌감을 주는 문제가 발생합니다. 규정 위반 신고가 줄어들고, 배송지 입력 오류가 줄고, 상품을 잘못 구해하는 사용자 숫자와 무료반품 비율이 줄어든다면 비용을 줄일 수 있습니다. 기업은 매출을 늘리거나 비용을 줄여야 하므로 비용 감소 역시 UX 콘텐츠 개선으로 달성할 수 있는 효과적인 지표입니다.
Source: 토레이 파드마저스키, 『전략적 UX 라이팅』
