UX, A/B 테스트 넘어선 사용성 테스트의 힘: Maze, UserTesting 활용법

솔직히 말해볼까? 초기 스타트업에서 제품 출시하고 나서 제일 불안한 게 뭔지 알아? 바로 '우리가 제대로 만들고 있는 거 맞나?' 하는 의구심이야. 특히 나처럼 디자이너 출신 PM이라면, 머릿속으로 그리는 완벽한 사용자 경험과 실제 사용자가 느끼는 괴리감에 밤잠 설치기 십상이지.

물론 A/B 테스트도 중요해. 하지만 그건 이미 '잘 작동할 가능성이 높은' 두 가지 옵션 중 하나를 고르는 과정일 뿐, 근본적인 '왜?'에 대한 답을 주진 않거든. 진짜 우리 제품의 심장, 즉 사용자 경험(UX)을 제대로 파고들려면, A/B 테스트만으로는 어림도 없어. 진짜배기 사용성 테스트가 필요하다는 얘기지.

이번 글에서는 내가 AI 스타트업에서 겪었던 실질적인 경험을 바탕으로, 어떻게 Maze와 UserTesting 같은 툴을 활용해서 사용성 테스트를 진행하고, 이를 통해 우리 제품의 UX를 한 단계 끌어올렸는지, 그 과정을 생생하게 공유하려고 해. 개발자에게 코드를 맡기는 게 아니라, PM으로서, 그리고 디자이너 출신으로서, 사용자들의 목소리를 직접 듣고 제품에 반영하는 여정 말이야.

왜 사용성 테스트인가? (디자이너 출신 PM의 고백)

나는 6년 차 PM이지만, 시작은 디자이너였어. 그래서인지 늘 '이게 정말 사용자에게 편할까?'라는 질문을 달고 살아. 특히 ADHD와 싸우며 나만의 루틴을 만들듯, 사용자들도 복잡한 정보 속에서 헤매지 않고 직관적으로 원하는 걸 찾길 바라거든.

문제는 우리 팀이 아무리 똑똑하고, 아무리 많은 회의를 거쳐도, 우리 머릿속 상상만으로는 실제 사용자들의 행동 패턴을 완벽히 예측할 수 없다는 거야. 우리가 '당연하다'고 생각하는 흐름이 사용자에게는 '왜 이렇게 되어있지?'가 될 수 있다는 거지. 바로 이 간극을 메우는 것이 사용성 테스트의 핵심이야.

A/B 테스트의 한계: '무엇'은 알지만 '왜'는 모른다

A/B 테스트는 특정 기능의 전환율을 높이거나, 두 가지 디자인 중 더 나은 것을 고르는 데 효과적이야. 예를 들어, 버튼 색깔을 파란색으로 했을 때와 초록색으로 했을 때 클릭률이 어떻게 달라지는지 알 수 있지. 하지만 왜 사용자들이 초록색 버튼을 더 많이 클릭했는지, 혹은 파란색 버튼을 클릭하지 않았는지에 대한 근본적인 이유는 알기 어려워.

이런 정보는 제품의 방향성을 결정하는 데 치명적일 수 있어. 단순히 숫자에만 의존하다 보면, 사용자 경험의 본질을 놓치고 '숫자만 좋은' 제품을 만들 수도 있다는 말이지. UX 개선은 단순히 숫자를 올리는 게임이 아니라, 사용자의 마음을 얻는 과정이니까.

Maze: 빠르고 효율적인 '디지털 프로토타입' 사용성 테스트

우리가 처음 사용성 테스트를 도입했을 때, 가장 필요했던 건 빠르게 피드백을 받고 반복적으로 개선할 수 있는 방법이었어. 특히 초기 프로토타입 단계에서는 디자이너가 만든 와이어프레임이나 클릭 가능한 프로토타입을 가지고도 충분히 가치 있는 인사이트를 얻을 수 있거든. 이때 Maze가 빛을 발했지.

Maze, 왜 좋았나?

• 쉬운 설정: 디자이너가 Figma, Sketch 같은 툴에서 작업한 프로토타입을 Maze에 연결하는 건 정말 간단했어. 코딩 지식? 전혀 필요 없어.
• 다양한 테스트 유형: '미션 수행' 방식의 테스트는 사용자가 특정 목표를 달성하도록 유도하며 실제 사용 흐름을 관찰하기에 최적이었어. 예를 들어, '회원가입하기', '상품 검색 후 장바구니 담기' 같은 시나리오를 설정하고 사용자들이 어떻게 행동하는지 봤지.
• 자동화된 리포트: Maze는 사용자들이 테스트를 완료하면 자동으로 데이터를 수집하고, 히트맵, 클릭 경로, 성공률, 시간 등 다양한 분석 리포트를 제공해 줘. 덕분에 우리는 밤새워 수동으로 데이터를 분석할 필요가 없었지.

실전 적용: '회원가입 플로우' 개선 이야기

우리 서비스는 복잡한 B2B 솔루션이라 회원가입 절차가 꽤 길었어. 디자이너 팀은 최대한 간결하게 만들려고 노력했지만, 실제 프로토타입으로 테스트해보니 30% 이상의 사용자가 특정 단계에서 이탈하는 걸 발견했지. Maze의 히트맵을 보니, 대부분의 사용자가 '회사명 입력' 필드 앞에서 망설이거나 아예 입력을 건너뛰려고 하더라고.

우리는 여기서 두 가지 가설을 세웠어. 첫째, 사용자들이 회사명을 정확히 기억하지 못하거나, 둘째, 개인 사용자는 회사명 입력이 불필요하다고 느낄 것이라는 것.

바로 이 부분에서 Maze의 '질문' 기능을 활용했어. '회사명 입력이 왜 어렵게 느껴지셨나요?'라는 질문을 해당 단계 이후에 추가하고, 몇몇 사용자에게는 '이메일 주소로 회원가입하는 경우, 회사명 입력은 필수인가요?'라는 추가 질문을 던졌지. 결과는 명확했어. 많은 개인 사용자들은 회사명 입력이 불필요했고, 기업 사용자들조차도 입력란이 너무 컸다고 피드백했지.

이후 우리는 회사명 입력을 '선택 사항'으로 바꾸고, 기업 사용자를 위한 별도의 옵션을 제공하도록 프로토타입을 수정했어. Maze로 다시 테스트해보니, 해당 단계에서의 이탈률이 10% 이하로 크게 줄었고, 전반적인 회원가입 완료율은 15% 이상 상승했지. 개발자에게 '회사명 입력 빼주세요'라고 말하기 전에, 사용자의 진짜 목소리를 들은 거지.

UserTesting: 실제 사용자들의 '생생한' 목소리 듣기

Maze가 프로토타입 단계에서 빠르고 효율적인 피드백을 제공한다면, UserTesting은 실제 제품이나 서비스에 대한 더 깊고 진솔한 사용자 피드백을 얻기에 탁월해.

UserTesting, 왜 필요한가?

• 다양한 페르소나: UserTesting은 특정 인구 통계학적 특성(나이, 직업, 관심사 등)을 가진 실제 사용자들을 모집해 테스트를 진행할 수 있게 해줘. 우리 제품의 타겟 고객과 정확히 일치하는 사람들의 피드백을 받을 수 있다는 거지.
• 화면 녹화와 음성: 사용자가 제품을 사용하는 모습을 화면 녹화하고, 생각하는 것을 말로 표현하도록(think-aloud protocol) 요청할 수 있어. 이걸 보면서 '아, 저렇게 생각하는구나!' 하고 무릎을 탁 치게 되는 순간들이 많아.
• 심층적인 인사이트: 프로토타입 단계에서는 발견하기 어려운, 실제 사용 환경에서 발생하는 문제점이나 개선점을 발견하는 데 매우 효과적이야. 예를 들어, 특정 기능의 사용 빈도가 예상보다 낮다거나, 다른 서비스와 비교했을 때 불편한 점 등을 파악할 수 있지.

실전 적용: 'AI 챗봇' 대화 흐름 개선

우리 AI 챗봇은 꽤 똑똑했지만, 사용자들이 원하는 답변을 얻기 위해 질문을 여러 번 바꿔야 하는 경우가 종종 있었어. 특히 기술적인 용어에 익숙하지 않은 사용자들은 챗봇의 답변을 이해하지 못하고 답답함을 느끼는 것 같았지.

우리는 UserTesting을 통해 5명의 비기술직 사용자에게 'AI 챗봇에게 특정 기술 문제에 대한 해결책을 물어보고, 그 답변을 이해하고 실행하는 과정'을 테스트하도록 요청했어. 이 과정에서 우리는 정말 충격적인 피드백을 받았지.

한 사용자는 챗봇의 답변에 나온 'API 연동'이라는 단어를 전혀 이해하지 못하고, '이게 도대체 뭐지?'라며 혼란스러워했어. 또 다른 사용자는 챗봇이 너무 장황하게 설명해서 핵심을 파악하기 어렵다고 이야기했지. 개발자에게 'API 연동'이라는 단어를 쉽게 바꿔달라고 요청할 수도 있겠지만, UserTesting은 그 이상의 것을 보여줬어.

우리는 이 피드백을 바탕으로 챗봇의 답변 스타일을 **'간결하고 비유적인 설명'**으로 바꾸기로 결정했어. 'API 연동' 대신 '다른 프로그램과 연결해주는 다리'와 같은 비유를 사용하고, 복잡한 기술 용어는 사용자가 클릭하면 간단한 설명이 나오는 툴팁 기능을 추가했지. 또한, 챗봇이 답변 후 '혹시 더 궁금한 점이 있으신가요?'와 같은 후속 질문을 먼저 던지도록 하여 사용자가 더 쉽게 대화를 이어갈 수 있도록 개선했어.

이러한 개선 후, 챗봇의 만족도와 문제 해결률이 눈에 띄게 향상되었어. UserTesting 덕분에 우리는 단순히 '기술적으로 뛰어난' 챗봇이 아니라, '진정으로 사용자에게 도움이 되는' 챗봇을 만들 수 있었던 거야.

결론: 사용자를 '진짜' 주인공으로

AI 스타트업에서 PM으로 일하면서, 나는 끊임없이 '최고의 제품'을 만들고 싶은 욕구와 '현실적인 제약' 사이에서 줄타기를 해야 해. 하지만 Maze와 UserTesting 같은 툴을 통해 사용자의 목소리를 직접 듣고, 그들의 경험을 이해하는 것이 결국 가장 빠르고 확실하게 최고의 제품으로 가는 길이라는 것을 깨달았어.

개발자에게 모든 것을 맡기는 대신, PM으로서, 디자이너의 감각을 가진 사람으로서, 우리는 사용자를 우리 제품의 진짜 주인공으로 만들어야 해. 그들의 불편함에 공감하고, 그들의 기쁨을 함께 나눌 때, 비로소 우리는 진정한 가치를 창출하는 제품을 만들 수 있을 거야.

당신은 당신의 제품 사용자를 얼마나 자주, 그리고 어떻게 만나고 있나요?