웹사이트 사용성 테스트를 개선할 수 있는 몇 가지 포인트

Smashing Magazine에 좋은 컬럼이 있어서 번역. 작년에 이 회사 직원들 사진과 소개글을 본 적이 있는데, 멤버들의 이력이 정말 다국적. 가령 프랑스에서 태어나 예멘에서 자라서 미국에서 학교를 다니고, 뭐 이런 식. 원문은 "Improving your website usability tests"

사용성 테스트 개선하기

내가 사용성 테스트를 시작하던 때에 했던 한 테스트에서 마우스를 쓸 줄 모르는 사랑스러운 할머님을 만난 적이 있다. 할머니는 커서를 다독이는 말을 하면서, 마우스를 계속 공중에 들어올려 화면을 가리켰다. 테스트를 끝내고도 아무것도 건진 것이 없긴 했지만, 그 할머니는 나를 손녀에게 소개시켜줄 "사랑스러운 소년"이라 생각했다. 참가자를 모집하는 명확한 기준을 세우는 것이 중요하다는 것을 순간 알아챘다.

사용성 테스트를 진행해본 경험이 있다면 그게 보이는 것만큼 쉽지는 않다는 것을 알게될 것이다. 첨단과학은 아니지만, 큰 차이를 낳을 수 있는 몇 가지 복잡한 면이 있다. 이번 글에서는 테스트가 여러분 혹은 참가자에게 실망스러운 경험으로 변하는 것을 막을 수 있는 몇 가지 교훈을 공유하고자 한다.

내가 일을 시작한 첫해는 스스로의 실수를 통해 배우는 것이 배움의 가장 좋은 길이지만, 우리가 언제나 그런 사치를 누릴 수 있는 것은 아니라는, 내가 얻을 수 있었던 가장 가치있는 경험을 한 해였다. 여기에 내가 이 일을 하며 배운, 여러분의 사용성 테스트 스킬을 빨리 발전시키고 함정을 피할 수 있도록 도울 몇 가지 팁이 있다.

구체적인 조사 문항에 답할 수 있도록 각본을 설계하라.

새로운 사용성 테스트를 시작할 때, 웹사이트의 주요 부분을 골라서 사용자가 그 과업을 끝내도록 하는 것이 전부라고 생각하면 안된다. 이런 접근에서도 몇 가지 유용한 통찰을 찾을지 모르지만, 결과보고를 할 때 프로젝트 이해관계자의 질문에 대답하지 못해서 비난을 받게 된다 하더라도 놀라지 말라. 

챙겨갈 핵심

여러분이 보고할 사람들과 이야기하고 그들에게 답변이 필요한 핵심질문이 뭔지 물어보라. 아주 많은 질문을 얻게 된다면 우선순위를 정하고 나서, 답변을 할 수 있는 방법을 최선을 다해 찾아라. 만약 질문이 애매하거나 왜 그걸 물어보는지 분명하지 않다면, 설명을 들어라. 질문 뒤에 있는 이유를 더 많이 이해할수록 여러분의 업무에 적용할 준비를 더 잘 갖추게 되고, 테스트 중에 질문할 수 있다.

참가자가 자연스럽게 행동하도록 신뢰감을 주라

참가자가 테스트에 임할 때, 대개 뭐가 기다리고 있는지 분명히 모른다. 그들은 아마도 얼굴 앞에 있는 카메라와 누군가 뒤에서 지켜보고 있다는 것 때문에 약간 긴장했을 것이다. 시작할 때에 그들이 당신의 지도를 바라는 것처럼 보더라도 놀라지 마라. 만약 테스트 초기 단계에서 지나치게 통제한다면, 참가자들이 뭔가를 하기 전에 당신의 허락을 받도록 몰아붙이는 셈이 된다.

챙겨갈 핵심

테스트를 시작할 때 참가자들이 선호하는 어떤 방법으로든 테스트를 시작하고 찾아볼 수 있도록 평범한 과제를 줘서, 참가자들이 자연스러운 행동을 보여주도록 독려하라. 나는 테스트를 시작하기 전에, 이 테스트의 맥락 내에서 그들이 마주한 진짜 문제를 밝혀낼 수 있는 질문을 하고, 그런 다음 가능한 한 자연스럽게 대답할 수 있도록 제약을 풀어준다. 일례로, 재산법 웹사이트를 테스트하기 위해서 첫 번째 과제로 참가자들에게 구체적인 예산 범위를 주고, 그들이 사고 싶어하는 지역의 집을 찾아보도록 했다. 이렇게 하면 그들이 어떻게 웹을 이용하는지 현실적인 관점을 얻을 수 있고, 동시에 테스트의 다음 과제를 위한 맥락을 설정할 수 있다.

참가자들의 방법으로 과제를 완료할 수 있도록 자유를 제공하라

초창기에는 테스트 각본을 설정해놓고, 사용자들이 과제를 풀다가 길을 잃기만 하면 바로 끼어들어서 다시 시도하도록 요청하곤 했다. 내가 극도로 통제했을 뿐만 아니라, 때로는 참가자들의 협조도 얻지 못했다. 또한 내가 기대하는 것 이상을 얻을 수 있는 기회를 스스로 차버렸다.

챙겨갈 핵심

언제나 사용자들이 웹사이트를 자유롭게 돌아다닐 수 있도록 하고, 과제의 목적으로 다시 되돌아오도록 하기 전에 트랙을 약간 벗어날 수 있도록 하라. 통제권을 잃는다고 생각할 수도 있고 혹은 참가자들이 과제를 잘못 이해했다고 생각할 수도 있지만, 사용자가 어디로, 왜 가는지를 보는 것은 멋진 일이 될 수 있으니 제어하려는 유혹을 잠시만 더 참아보라. 여기서 자주 몇 개의 진정한 보석을 발견하게 될테니, 이렇게 되도록 최선을 다해보라.  그들이 스스로 돌아오는 길을 찾지 못한다는 확신이 들기 전에는 다시 트랙으로 되돌리려고 하지 마라.

긴장 풀고, 입 다물고, 무슨 일이 벌어지는지 보라

엄격히 제어하고 사용자가 여러분을 위해 뭘 해야하는지에만 초점을 맞추는 것은 쉬운 일이다. 사용자들이 뭔가 흥미롭거나 기대하지 않았던 일을 할 때, 무슨 생각으로 그렇게 했는지를 물어보는 것은 대단히 유용하다. 그러나 앞서 말한 것처럼, 너무 일찍 물어보거나 너무 자주 물어보면 자연스러운 행동을 관찰할 기회를 놓친다. 

챙겨갈 핵심

참가자들의 사고 과정 흐름에 끼어들지 않도록 최선을 다하라. 더 많이 끼어들수록 참가자들은 도움 없이 과제를 완료할 수 있다는 자신감을 잃을 가능성이 높다. 만약 참가자에게 매 30초마다 뭔가를 물어본다면, 그들은 흐름을 계속 방해받을테고, 여러분은 자연스러운 행동을 아무것도 볼 수 없게 된다. 여러분은 나중에 언제든지 어떤 일이 있었는지 되짚어서 물어볼 수 있다. 사용성 테스트를 처음 하는 사람이 이런 실수를 하는 것을 수없이 봤기 때문에 참가자들에게 질문하면서 동시에 그들의 행동을 관찰하는 것은 불가능하다고 일깨워준다.

당신 앞에 있는 참가자에 맞춰 과제를 짜라

지금까지 너무 엄격한 자세를 취하는 것에 대해 많이 언급했다. 내 생각에 이건 아마도 뭔가 새로운 일을 할 때는 변수를 통제하고 미지의 영역을 봉쇄하려 하기 때문이 아닐까 싶다. 하지만 내 경험상, 통제를 줄일수록 어떤 일이 일어나든 대처할 수 있다는 자신감이 생김을 알게된다. 

초창기에는 과제를 위해 설정한 딱 그대로 사용자에게 전달할 시나리오를 또박또박 쓰기를 좋아했다. 그러나 사용자들은 내가 설정한 과제가 그들이 일반적으로 할법한 일과 맞지 않으면 받아들이지 않는다는 것을 곧 깨달았다. 내가 19살 먹은 청년에게 과제를 완료하기 위한 방법으로 세 아이의 엄마라고 상상해보라고 했던 순간을 기억한다. 두 말할 필요 없이, 그는 나를 이상한 놈 보듯이 쳐다보며 그가 찾을 수 없노라 말하며 포기할 때까지 그 과제에 전혀 집중하지 못했다. 

챙겨갈 핵심

사용자가 끝낼 전체 과제를 계획하되, 일반화시킨 다음, 참가자에 맞춰 시나리오를 재단하도록 노력하라. 언제나 이게 가능하진 않으므로, 테스트 초기에 약간의 시간을 들여 참가자가 누구인지 그리고 그들이 현재 사용하는 비슷한 제품이나 서비스가 무엇인지를 알아내는 것은 엄청난 가치가 있다. 이렇게 할 수 있다면, 그 다음에는 진짜 문제에 맞는 테스트 시나리오 혹은 사용자가 해결하고 싶어하는 시나리오를 만드는 데 이 방법을 사용해서 사용자가 단순히 시나리오를 '흉내내기'만 할 때보다 훨씬 많은 것을 알아낼 수 있다. 

언제나 업계 혹은 경쟁 웹사이트를 이용한 과제를 포함하라

전체 시간을 한 웹사이트에서 사용하는 것은 여러분과 참가자 모두에게 지루할 수 있다. 그러나 지루함만이 문제인 것은 아니다. 여러분이 찾아낸 것과 관찰한 것은 모두 격리된 상황에 기반한 것이다. 참가자가 늘 검색창으로 향하는지 혹은 내비게이션 기능이 헷갈렸기 때문에 그랬던 것 뿐인지, 진짜로 알아낼 수 없다. 한 사이트를 바라보는 것만으로는 사람들이 어떻게 웹을 이용하는지에 대한 진실을 얻어낼 수 없다.

챙겨갈 핵심

테스트의 일부로 경쟁사 혹은 업계 웹사이트를 방문하는 시간을 만들어라. 이렇게 하는 가장 좋은 방법은 테스트를 시작할 때 참가자에게 요즘 어떤 웹사이트를 사용하는지를 물어보고, 보여달라고 요청하는 것이다. 그러고 나서 참가자가 사용해본 적이 없는 경쟁사 혹은 업계 웹사이트를 소개해준다. 참가자가 움직이는 일정한 패턴과 다른 사이트들 사이에서 왜 그 사이트를 선택했는지를 더 많이 알아낼 수 있을 것이다. 그리고 보다 더 중요한 것은 다른 웹사이트에서 뭐가 효과적이고 왜 그런지를 알아낼 수 있다는 것이다. 이건 여러분 웹사이트의 까다로운 사용성 문제를 해결할 영감을 제공하는 훌륭한 원천이다. 

어느 웹사이트가 테스트 대상인지 참가자가 바로 알아차리도록 하지 말라

내가 테스트하는 웹사이트가 뭔지를 분명하게 알려주는 실수를 예전에 저지른 적이 있다. 때때로 이걸 피해가는 게 어렵지만, 할 수만 있다면 피하라고 권한다. 가장 큰 이유는 여러분이 그 회사의 직원이든 외부계약자이든 상관 없이, 여러분이 일하는 회사의 웹사이트에 대해 완벽하게 솔직해지긴 아주 어렵기 때문이다. 

챙겨갈 핵심

내가 만약 최우선으로 테스트해야할 웹사이트의 디자인에 관여하지 않았다면, 나는 언제나 내 독립성을 강조한다. 다른 속임수로는 실제로 테스트할 웹사이트를 방문하기 전에 참가자에게 경쟁사 웹사이트를 보여주고, 그것에 대해 솔직한 의견을 달라고 요청하는 것이다. 만약 참가자가 실제로 테스트하는 웹사이트가 뭔지 모르는 채 이렇게 할 수 있다면, 참가자의 솔직한 최초의 생각을 얻을 가능성이 훨씬 더 높아진다. 테스트가 끝을 향해 갈수록 한 사이트에서 과제를 제시하느라 대부분의 시간을 쓰면서 점점 드러나기 마련이지만, 그러나 그 때쯤이면 참가자의 솔직한 첫 인상을 충분히 이해할 수 있었을 것이다. 

요약

만약 여러분의 사용성 테스트 기술을 개선하고 싶다면, 더 많은 테스트를 하는 것을 대체할 것은 없다. 그럼에도 내가 여기서 강조했다시피 과제를 어떻게 계획할 것인지, 또 여러분이 참가자와 어떻게 교감하느냐가 연구에 영향을 미친다는 것을 이해하기를 바란다. 핵심 질문에 초점을 맞추고, 과제를 너무 엄격히 하지 않도록 테스트를 설계하는 것이 좋은 출발점이 될 것이다. 덧붙여서, 테스트에서 경쟁업체를 이용하고, 참가자들이 가능한한 자연스럽게 행동하도록 독려하면 더 좋은 결과를 얻어낼 수 있다. 

계획을 짜는 방법과 디자인, 적절한 사용성 테스트에 대해 더 알아보고 싶다면 강력하게 추천하는 책 목록이 있다.

• A Practical Guide to Usability Testing, Joseph Dumas and Janice Redish (Greenwood Publishing Group: 1993)
• Handbook of Usability Testing: How to Plan, Design and Conduct Effective Tests, Jeffrey Rubin and Dana Chisnell (John Wiley & Sons: 1994)
• Moderating Usability Tests: Principles and Practices for Interacting, Joseph Dumas and Beth Loring (Morgan Kaufmann: 2008)