UX 리서처로서 리서치를 하면서 UT(Usability Test)는 가장 자주 사용하는 리서치 방법입니다. UT는 몇 명을 대상으로 해야 할까요? 저는 이런 질문을 커피챗에서도 자주 받지만 스스로에게도 묻곤 합니다. 결론부터 말씀드리면 “3명이라도 좋으니 빨리, 자주 하세요”라고 말씀드립니다. 그런데 꼭 3명이어야 할까요? 그렇지 않습니다. 최근 토스 PO SESSION에서 UT에 대해 언급한 부분이 있었는데요. 토스팀 이승건 님은 이렇게 이야기했습니다.
NNG(닐슨노먼그룹)에서 2000년 3월 18일에 게시한 글에 따르면 제이콥 닐슨은 UT에 대해서 이렇게 이야기합니다.
두 가지 문장을 결합해보면 사용성 테스트를 몇 명을 대상으로 하느냐? 에 대한 대답은 '목적'에 따라 달라질 수 있습니다. 특정 기능을 론칭하려고 할 때 사용성 문제를 확인하고 기능을 출시하려는 목적이라면 5명을 대상으로 UT를 진행함으로써 3명 중 1명에게 영향을 주는 33% 수준의 사용성 문제의 약 85%를 확인할 수 있습니다. 이 만큼으로도 충분한 테스트도 있지만 아닐 때도 있습니다.
한정판으로 발매된 신발을 중개하는 플랫폼이 있다고 가정해보겠습니다. 구매를 희망하는 사용자는 경매 마감 시한까지 가장 높은 가격을 입력해야 하는데요. 마감시한까지 가격을 총 3번만 입찰할 수 있습니다. 프로토타입을 만들어 UT를 하는 상황이라면 몇 명을 대상으로 해야 할까요? 5명의 사용자를 섭외해서 모더레이팅 하면서 관찰해보니 '희망 구매 가격'을 5,000원을 올리는 태스크를 수행할 때 슬라이더 UI를 잘 활용하지 못해서 이내 키보드를 조작하는 상황이 마지막 2명에게서 발견했습니다. 처음 3명은 작동방식을 금방 알아차리고 슬라이더로 금액을 원하는 대로, 1,000원부터 2,000원까지 조정하기도 했습니다. 5명을 대상으로 UT를 진행했으니 충분한 걸까요? WHTM 『확인해야 하는 디자인』 중에서 인용
모든 고객에게 크게 영향을 주는 핵심 경험(Moment of Impact)에 변화가 생기거나, 손상이 생긴다고 받아들일 수 있는 기능에 대해서는 10명 중 1명에게 영향을 주는 사용성 문제의 85%를 확인해야 할 수도 있기 때문입니다. 이런 경우 18명을 대상으로 UT를 해야 10명 중 1명에게 영향을 미치는 사용성 문제를 확인할 수 있습니다. 혹은 새로운 레이어를 통해 CC(Carrying Capacity)를 높이려고 할 때, 그 단서를 얻고 싶다면 20명 이상을 대상으로도 진행할 수 있습니다.
