원티드랩 제품 사용성 테스트 후기

안녕하세요! 원티드랩 QA팀 김명관 입니다. 저는 작년 12월부터 기업 고객을 대상으로 하는 대시보드 제품을 담당하고 있습니다. 대시보드 제품로 옮겨와서 느낀 점이 많았지만 그 중에서도 ‘이건 좀 개선 해보고 싶다. ‘ 라고 생각한 것은 제품의 사용성이었습니다. 전에 UX/UI에 대해 조사하게 된 것도 이런 이유 때문이지 않았을까 싶네요. 개인적으로는 사용성에 대한 생각을 대시보드 제품으로 옮기고 나서 하게 된 것이 유저 분들의 피드백이나 개선 요청이 적극적이었기 때문인 것 같습니다. 그리고 저도 연차가 쌓이면서 자연스레 좀 더 넓은 시야를 가지게 되기도 했구요. 우리의 제품이 만드는 사람의 입장이 아닌 사용하는 사람의 입장에서 어떻게 보일지, 어떻게 개선할지, 어떻게 만들어야 할지 궁금했어요. 어쨌든 사용성 테스트를 오래 전부터 해보고 싶었습니다. 운 떼기 사용성 테스트를 하고 싶다는 생각은 꾸준히 있어왔지만 실행으로 옮기지는 못하고 있다가 2023년 8월쯤 부터 조금씩 공부를 시작했어요. (주로 책으로 공부하는데 하필 제가 보고 싶은 책이 절판된 상태라 구하는데 힘이 들었습니다. 🥲) 공부를 하고 ‘올 해가 가기 전에 스쿼드 분들께 사용성 테스트를 해보고 싶다고 이야기 해야겠다.’ 라고 생각하던 차에 마침 PO님과 1on1 미팅이 잡혔습니다. 1시간 가량 미팅을 하며 PO님이 마지막 즈음에 뭔가 하고 싶으셨던 이야기가 없는지 물어보셨고, 조심스럽게 사용성 테스트를 해보고 싶다고 말씀드렸습니다. 사실 사용성 테스트라는 것이 제품이 완전히 완성되기 전에 제 3자에게 제품에 대해 평가를 받는 일이다 보니 민감하게 받아들이실 수도 있다고 생각했어요. 그래서 여러 구성원들도 동의를 한다면 진행하겠다고 생각했는데 PO님을 비롯한 스쿼드 분들도 좋아하시고 든든하다는 말씀도 해주셔서 저도 기분 좋게 준비를 시작했습니다. 사용성 테스트 설계하기 전 회사에서 1년차일때 우연히 사용성 테스트에 참석한 적이 있었습니다. 그 때의 기억을 최대한 살려 과제나 질문의 대략적인 방향을 잡았어요. 그리고 사용성 테스트를 공부했던 책에서는 일반 대중을 대상으로 하는 제품을 기준으로 사용성 테스트를 설명하고 있었지만, 제가 담당하는 제품은 조금 다르게 바라보아야 했습니다. 원티드랩의 대시보드는 주로 누가 사용할까? 를 먼저 생각해 보았습니다. 주로 기업의 인사 담당자나 채용을 진행하는 임직원 분들이 사용할텐데 일반 유저를 대상으로 하는 테스트와 어떻게 다르게 설계해야 좋을지 고민했습니다. 테스트 대상 또한 일반 유저와는 다른 방식으로 선정했습니다. 대시보드는 주로 기업의 인사 담당자나 채용을 원하는 임직원 분들이 사용하게 될 제품일 것입니다. 그리고 일반 유저들 보다는 채용 시스템에 대해 이해도가 더 높을 것이라 생각했어요. 따라서 우리 제품을 사용할 일이 없는 일반 유저를 무작위로 선정하지 않고 대시보드를 어느정도 이용해 본 사람들을 선정하기로 했습니다. 이번엔 테스트를 처음으로 설계, 진행하다보니 사용성 테스트에 대한 피드백도 받고싶어 QA팀 분들을 대상으로 선정했습니다. 실제로 대시보드의 사용성을 테스트 해보기도 하고, 사용성 테스트를 테스트해보는 두가지 목적을 가지게 되었습니다. 테스트 대상자가 아무래도 QA팀 분들이다 보니 완성되지 않은 기능을 테스트 하실 때 QA의 시각으로 버그를 열심히 찾으시느라 사용성에 집중하지 못하실 거라는 우려가 있었습니다. 그래서 테스트의 범위를 당시 제품을 개발하고 배포를 막 끝냈지만 해당 영역에서 작업이 좀 더 남아있는 기능으로 설정했습니다. 그리고 테스트 데이터도 설정해 두었습니다. 주된 질문은 아래와 같았습니다. - 각 UI에 대한 평가 - 제품을 만드는 사람들의 의도가 사용자에게 잘 전달되었는가 - 과제를 수행하기 위해 얼마나 오랜 시간이 걸렸는가 - 가이드 텍스트를 사용자들이 잘 인지할 수 있는가 - 담당 QA로써 평소 제품에 우려되던 점 - 마지막으로 해당 기능에서 가장 문제가 된다고 생각하는 점 4곳의 영역에 걸쳐 위와 같은 항목들로 여러가지 기능들을 1시간에 걸쳐 테스트 해볼 수 있도록 설계했(다고 생각했)습니다. 사용성 테스트 준비하기 준비하는 과정은 그리 어렵지도, 오래 걸리지도 않았습니다. 생각이 필요한 것들은 설계하는 단계에서 많이 정리해 두었기 때문이죠. 작성했던 질문 리스트를 구글폼을 이용해 설문지로 만들었고, 관련 이미지를 따서 붙여 넣으면 됐습니다. 이것을 다 만드는 데는 다른 업무를 병행하며 2일 정도 걸린 것 같네요. 저와 함께 대시보드를 담당해 주시는 윤명님과 리뷰도 마쳤습니다. 그리고 사용성 테스트를 해야겠다! 라는 결심이 흔들리지 않게 QA팀과 스쿼드 분들께도 조만간 사용성 테스트를 진행하겠다고 말씀드렸어요. 대상자는 QA팀 분들이고 어떤 질문들을 할 지 스쿼드 분들께도 먼저 공유 드리고 피드백도 받아 보았습니다. 마지막으로 사용성 테스트 자체에 대한 피드백을 받기 위한 설문조사도 만들고 1시간 짜리 세션을 만들었습니다. 사용성 테스트 진행하기 세션이 시작되고 5분 정도 사용성 테스트를 하게 된 배경과 목적, 우리가 찾아야 할 내용, 테스트 진행 방법, 그 외 안내가 필요한 사항들을 알려드리고 테스트를 시작했습니다. 특히 당부 드렸던 부분은 ‘여러분이 느끼는 감정을 그대로 잘 표현해 주셔야 합니다.’ 와 ‘QA로써의 눈은 잠시 꺼주세요.’ 였습니다. 저는 테스트를 하는 동안 계속해서 대상자 분들이 어떤 과제를 어려워 하는지, 어떤 기능에서 막히는지, 어떤 행동을 이어가는지 관찰했습니다. 대상자 분들이 질문을 주시면 답변을 해 드렸으나 과제를 진행하는데 힌트가 되는 질문은 답변을 드리지 않았습니다. 1시간으로 설계했던 테스트는 제품을 처음 사용해보는 분들 기준에도 넉넉하게 드렸다 생각했지만 모든 분들이 모든 과제를 완수하는데 까지 1.5시간 이상 걸렸습니다. 그리고 중요도가 높은 기능을 찾아내는 데에 꽤 오랜 시간이 걸려 남은 과제 수행이 밀리게 되어 잠시 테스트를 중단하고 제가 과제 수행 경로를 알려드린 케이스도 있었습니다. 제품의 히스토리나 기획의 의도를 모두 이해한 상태에서 만드는 우리의 입장이 이렇게 사용자와 동떨어져 있을 거라고는 예상하지 못했습니다. 테스트를 진행하는 과정에서 ‘아 정말 나는 내 세상 속에서만 살고 있었구나..’ 라는 생각을 하게 되었습니다. 한 가지 더 제가 간과한 것이 있었는데, 테스트 데이터 세팅 후에 모의 테스트를 하지 않았다는 점입니다. 세팅한 대로 잘 진행될 줄 알았던 데이터는 실제 테스트를 하면서 여러가지 문제점들이 보였는데요 테스트 전체를 생각하지 않고 단편적인 과제에만 집중해 데이터를 세팅한 것이 첫 번째 문제였고, 이미 알려진 이슈 때문에 진행이 어렵거나 환경을 완전히 재현해 두지 못한 과제들이 있었다는 것이 두 번째 문제였습니다. 이 문제들은 제가 모의 테스트를 진행 했다면 모두 발견하고 조치할 수 있었지만 그러지 않았다는 것이 가장 큰 문제였구요. 제가 공부했던 책에 종종 인용되었으나 와닿지 않았던 문구가 있었습니다. 사용성 테스트는 언제나 효과가 있다. 테스트 후에는 뼈저리고 아주 호되게 와닿게 되었습니다… 사용성 테스트 마무리 참 많은 생각을 하게 해준 사용성 테스트 결과를 피그잼에 정리했습니다. 의외로 결과를 정리하는 게 설문지를 만드는 것보다 더 많은 시간이 걸렸습니다. 구글폼으로 설문 결과를 받았기 때문에 결과 자체는 구글시트로 변환하기 아주 간편했습니다. 하지만 대상자 분들의 주관적인 의견이 들어가는 사용성 테스트이다 보니 이것을 취합하는 데는 시간이 꽤 필요했습니다. 비슷한 의견, 주목해야 할 의견, 의외의 의견 등 취합과 강조를 하고 이미 알고 있는 이슈, 작업 중인 이슈, 정책 상 어쩔 수 없는 이슈 등도 분류했어요. 답변을 분류한 뒤 피그잼에 과제를 수행했던 각 기능 별로 섹션을 만들어 질문과 답변을 작성했고 답변을 수치화 하여 평균 점수를 내어 점수 별로 색깔도 나눠 보았습니다. 그리고 미리 분류해둔 대로 대표적으로 선정해서 공유해 드릴 질문과 답변을 표시해 두었습니다. 결과 공유를 드리는 세션에서 또한 테스트를 어떻게 진행했는지, 목적이 무엇인지 간단히 안내해 드린 뒤 선정된 질문과 답변을 공유 드렸습니다. 이 때 제가 테스트 대상자 분들을 관찰하며 느낀 점 또한 같이 전달해 드렸어요. 이 세션에서 정말 많은 이야기들을 했어요. 개선할 점, 개선 방법 그리고 앞으로 우리가 어떻게 제품을 만들어야 하는지에 대한 실마리도 얻을 수 있었습니다. 마무리 이렇게 약 3개월이 조금 안되는 시간 동안 저의 첫 번째 사용성 테스트가 끝났습니다. 길고 힘들고 충격적인 시간이었지만 QA로써 아주 행복했습니다. 오랜 시간 해보고 싶었던 사용성 테스트이기도 했고, 결과 또한 의도한 대로 충격적이었기 때문입니다. 현장에서 느꼈던 제 많은 생각과 감정이 이 글에는 5%정도나 담겼을까 싶네요..ㅎㅎ 스쿼드 분들과 함께 가진 테스트 결과 공유 세션에서는 ‘우리 생각’ 과 ‘유저 생각’ 이 어떻게 다른지 이해할 수 있었고 앞으로의 작업을 어떻게 진행하면 좋을지 많은 힌트를 얻을 수 있었습니다. 꼭 사용성 테스트 결과 공유가 아니더라도 이런 이야기를 할 수 있는 시간을 따로 가지고 싶다고 생각할 정도로 모든 구성원이 진지하게 아주 건설적인 토론을 했어요. 앞으로도 저는 언제나 효과가 있다는 사용성 테스트를 꾸준히 진행하고 싶습니다. 대시보드 특성 상 자주 할 수는 없겠지만 프로젝트 시작 전, 작업 배포 전, 사용성이 우려될 때 진행해보려고 합니다. 바쁘다는 이유로 제 의지가 꺾이지 않기를 바랍니다. 🙏 마지막으로 제가 사용성 테스트 해보고 싶다 했을 때 흔쾌히 호응해 주신 스쿼드 여러분들 바쁜 일정 속에서도 사용성 테스트에 참여해 주시고 진심의 피드백 남겨주신 QA팀 여러분들 사용성 테스트라는 것을 알게 해주시고 참여도 시켜주셨던 라온시큐어의 박형준 팀장님께 감사드립니다!