UX 리서처로서 리서치를 하면서 UT(Usability Test)는 가장 자주 사용하는 리서치 방법입니다. UT는 몇 명을 대상으로 해야 할까요? 저는 이런 질문을 커피챗에서도 자주 받지만 스스로에게도 묻곤 합니다. 결론부터 말씀드리면 “3명이라도 좋으니 빨리, 자주 하세요”라고 말씀드립니다. 그런데 꼭 3명이어야 할까요? 그렇지 않습니다. 최근 토스 PO SESSION에서 UT에 대해 언급한 부분이 있었는데요. 토스팀 이승건 님은 이렇게 이야기했습니다.
NNG(닐슨노먼그룹)에서 2000년 3월 18일에 게시한 글에 따르면 제이콥 닐슨은 UT에 대해서 이렇게 이야기합니다.
두 가지 문장을 결합해보면 사용성 테스트를 몇 명을 대상으로 하느냐? 에 대한 대답은 '목적'에 따라 달라질 수 있습니다. 특정 기능을 론칭하려고 할 때 사용성 문제를 확인하고 기능을 출시하려는 목적이라면 5명을 대상으로 UT를 진행함으로써 3명 중 1명에게 영향을 주는 33% 수준의 사용성 문제의 약 85%를 확인할 수 있습니다. 이 만큼으로도 충분한 테스트도 있지만 아닐 때도 있습니다.
한정판으로 발매된 신발을 중개하는 플랫폼이 있다고 가정해보겠습니다. 구매를 희망하는 사용자는 경매 마감 시한까지 가장 높은 가격을 입력해야 하는데요. 마감시한까지 가격을 총 3번만 입찰할 수 있습니다. 프로토타입을 만들어 UT를 하는 상황이라면 몇 명을 대상으로 해야 할까요? 5명의 사용자를 섭외해서 모더레이팅 하면서 관찰해보니 '희망 구매 가격'을 5,000원을 올리는 태스크를 수행할 때 슬라이더 UI를 잘 활용하지 못해서 이내 키보드를 조작하는 상황이 마지막 2명에게서 발견했습니다. 처음 3명은 작동방식을 금방 알아차리고 슬라이더로 금액을 원하는 대로, 1,000원부터 2,000원까지 조정하기도 했습니다. 5명을 대상으로 UT를 진행했으니 충분한 걸까요? WHTM 『확인해야 하는 디자인』 중에서 인용
모든 고객에게 크게 영향을 주는 핵심 경험(Moment of Impact)에 변화가 생기거나, 손상이 생긴다고 받아들일 수 있는 기능에 대해서는 10명 중 1명에게 영향을 주는 사용성 문제의 85%를 확인해야 할 수도 있기 때문입니다. 이런 경우 18명을 대상으로 UT를 해야 10명 중 1명에게 영향을 미치는 사용성 문제를 확인할 수 있습니다. 혹은 새로운 레이어를 통해 CC(Carrying Capacity)를 높이려고 할 때, 그 단서를 얻고 싶다면 20명 이상을 대상으로도 진행할 수 있습니다.
함께 읽으면 좋은 글
- PM에게 리서치는 🧭 + 🔍 + 🗺 이다 – UX 리서치를 무엇으로 정의할 수 있을까요? 개인적으로 ‘방망이를 깎는 일’과 비슷하다고 생각합니다. 방망이의 손잡이를 정교하게 깎아서 손에 쥘…
- 유난한 도전, 선을 넘는 사람들의 현재 진행형 이야기 – 토스는 서비스 이름이고 토스를 만드는 토스팀이 속한 회사 이름은 ‘비바리퍼블리카’입니다. ‘공화국 만세’라는 의미를 가진 라틴어는 구호입니다. 프랑스혁명 때…
- Lyft Way vs. Uber – 리프트(Lyft)가 정공법으로 모빌리티 사업에 주력하고 있어요! 🚗 + 🚖우버(Uber)가 음식배달, 금융 등 모빌리티 밖으로 활로를 찾는 것과는 대조적이죠!…
