프로젝트를 진행하다보면 때때로 사용성 테스트가 필요해지곤 합니다.

해당 프로세스에 할당된 예산이 충분하다면, 테스터를 모집하여 진행하는 경우가 많습니다.
하지만 특별히 정해진 프로세스가 없다면, 옆자리의 동료를 상대로 간단히 테스팅을 진행할 수도 있습니다.

그렇다면, 사용성 테스트를 진행할 때, 몇 명의 테스터가 필요할까요?

닐슨 노먼 그룹의 제이콥 닐슨은, 한 가지 사용성 이슈당 5명의 사용자 테스트로 충분하다고 주장합니다.
5명이라는 숫자가 너무 적게 느껴질 수도 있습니다. 제이콥 닐슨은 이러한 우려에 대해, 실제 데이터와 그래프를 제시합니다.

<사용성 테스트 그래프, Jakob Nielsen(2000.3.)>

 

N (1- (1-L) n)
N = 디자인에서 사용성 문제의 총 수
L = 단일 사용자가 발견하는 사용성 문제의 비율, 평균 31%
n = 테스트 참여자 수

 

위 그래프와 수식이 말하는 바는 명확합니다.
사용성 테스트 참여자가 15명이 넘으면, 대부분의 문제점을 찾아낼 수 있습니다.

하지만 15명이 아닌 5명이라고 하는 이유는 따로 있습니다.

1. 문제점 발견이 반복되므로, 새로운 정보를 얻기가 점차 어려워집니다.
2. 15명이 있다면 한 가지 문제에 집중하는 것이 아니라, 여러 개의 문제와 그룹으로 나누는 것이 효율적입니다.
3. 5명만 테스트해도4%의 문제를 발견할 수 있습니다.

여기서 다시 의문이 생길 수 있습니다.

“15명을 통해 문제의 100%를 발견해야지, 왜 5명의 84%에서 멈춰야 하나?”

물론 시간과 예산이 충분하다면, 모든 문제를 발견할 때까지 테스트를 진행하는 것이 맞습니다.
하지만 시간과 예산의 최적화 면에서 매우 비효율적일 수밖에 없습니다.

이에 대해 닐슨은 “반복 디자인”을 제안합니다. 새로운 디자인을 만든 뒤, 다시 테스트하기 위해 자원을 사용하라는 뜻입니다.

1. 사용성 문제를 발견하고 새 디자인을 제작
2. 남은 문제를 발견하며(그래도 2%가 남지만), 기본 구조의 유용성을 조사하여 재설계에 적용
3. 인터페이스의 정리 이후 본질적인 문제를 확인

 

반대로 이런 질문도 있습니다.

“테스터를 한 명만 뽑아서 15번 테스트하면 비용 면에서 더 효율적이지 않아요?”

물론, 두 번째 사용자에서부터는 21%, 세 번째 사용자로부터는 16%의 정보만을 추가로 얻을 수 있습니다.
즉, 첫 번째 테스터로부터 가장 많은 인사이트를 얻을 수 있습니다.
하지만 한 명의 사용자만을 테스트하는 경우, 가치 있는 정보와 거짓된 정보를 가려내기 어렵습니다.

예를 들어, 그 한 명의 성향이 매우 유별나다면, 사용성 개선이 아닌 개악이 이루어질 수 있다는 뜻입니다.

그러므로 최소 3~5명의 사용자를 상대로 테스트를 진행해야 충분히 객관적인 인사이트를 얻을 수 있습니다.

하지만, 5명으로도 부족할 수도 있습니다. 단일 서비스에 판이하게 다른 성향의 사용자가 있는 경우입니다. 닐슨은 두 가지 예를 들어 설명합니다:

1. 자녀와 부모가 모두 사용하는 사이트
2. 구매 담당자와 영업 직원을 연결하는 시스템

 

최근, 앱 디자인에서부터 백화점 매장 구성까지, UX라는 개념이 중요하게 떠오르고 있습니다. 그와 동시에 사용성 테스트는 필수적인 요소가 되고 있습니다. 하지만, 현장의 디자이너 스스로는 “과연 이 방식이 옳은가?”라는 질문에 언제라도 마주칠 수 있습니다.

제이콥 닐슨의 이 그래프는, 이 질문에 대한 훌륭한 힌트가 될 것입니다.

Leave a Reply

Mets HIT Inc.

Be creative. Emotional. Innovative with our eXperience