설문조사를 하지 말아야 하는 경우 3가지

설문조사는 UX 리서치에서 널리 사용되는 방법입니다.
많은 데이터를 빠르고 저렴하게 얻을 수 있다는 장점이 있지만, 모든 상황에서 효과적이지는 않아요.이번 포스트에서는 닐슨노먼그룹에서 제시한, 설문조사가 적합하지 않은 3가지 경우(Survey Alternatives: 3 Scenarios When You Shouldn’t Run a Survey)를 살펴보도록 하겠습니다.

1. 시스템 또는 프로토타입에 대한 피드백을 얻고 싶을 때

설문조사가 부적합한 이유

시스템이나 프로토타입에 대한 피드백을 받을 때 설문조사를 사용하면, 사용자의 실제 행동(Behavioral) 데이터가 아닌 사용자의 의견(Attitudinal)만 수집하게 됩니다. 사용자는 자신의 경험을 주관적으로 회상하거나 정확하지 않게 표현할 가능성이 높기 때문에, 실제로 제품을 어떻게 사용하는지 정확한 데이터를 얻기 어려워요.

예시: “웹사이트에서 로그인 버튼 위치가 적합한가요?”라는 질문에 사용자가 “네”라고 답해도, 실제로는 버튼을 찾기 어려워 헤맸을 수 있습니다.

이러한 경우, 사용성 테스트(Usability Testing)를 실시하는 것이 더 적합합니다. 사용성 테스트는 사용자가 직접 제품을 사용하면서 어떻게 행동하는지 관찰하는 리서치 방법으로, 보다 정확하고 행동에 기반한 데이터를 수집할 수 있습니다.

2. 사용자의 구체적인 경험을 심층적으로 이해해야 할 때

설문조사는 대규모 사용자로부터 숫자나 비율과 같은 양적 데이터를 얻는 데 탁월합니다. 하지만 특정 사용자의 깊은 경험, 감정, 개인적 의견을 이해해야 할 때는 설문조사가 적합하지 않습니다. 양적 방법인 설문으로는 이러한 미묘하고 세부적인 내용을 충분히 파악하기 어렵기 때문입니다.

예시: “저희 앱에서 최근 경험이 어떠셨나요?”라는 질문에 “만족합니다” 혹은 “불만족합니다”라는 답만으로는 그 이유를 구체적으로 이해할 수 없어요. 이 경우 개별적인 심층 인터뷰를 진행하면 사용자의 불만이나 만족의 원인을 더 깊이 파악할 수 있습니다. 인터뷰와 같은 질적 리서치 방법을 통해 사용자가 가진 깊이 있는 경험과 의견을 효과적으로 파악하는 것이 좋습니다. 인터뷰는 사용자의 실제 경험, 감정, 동기를 자세히 탐색하여 구체적인 개선점을 발견할 수 있도록 돕죠.

3. 웹사이트에서 사용자의 실제 행동을 정확히 분석할 때

사용자에게 직접 웹사이트 행동에 대한 질문을 하는 설문조사는 정확도가 떨어질 수 있습니다. 사용자는 자신의 실제 행동을 잘못 기억하거나 부정확하게 답변할 가능성이 있기 때문입니다.

예시: “지난 일주일 동안 저희 웹사이트에서 가장 많이 방문한 페이지가 어디였나요?”라는 질문에, 사용자는 실제로 가장 많이 방문한 페이지를 정확히 기억하기 어렵습니다. 따라서 부정확하거나 왜곡된 데이터를 얻게 될 확률이 높습니다.

이 경우, 웹 애널리틱스와 같은 객관적인 방법이 더 정확한 데이터를 제공합니다.
웹 애널리틱스 도구, 사용자 행동 기록 소프트웨어, 또는 이미 확보한 기존 사용자 데이터 분석을 활용하세요. 이를 통해 실제 사용자의 클릭 경로, 페이지 체류 시간, 이탈 지점 등 정확한 행동 데이터를 확보할 수 있어요.

그럼 설문조사는 언제하나요?

설문조사가 효과적인 경우도 분명히 존재해요. 설문조사는 대규모 사용자 그룹으로부터 빠르게 양적 데이터를 확보하는 데 매우 유용합니다.

특히 사용자 만족도 조사나 태도, 의견, 자기보고식 행동(예: 자주 사용하는 앱이나 서비스에 대한 만족도)을 조사하는 경우 설문조사를 적극 활용할 수 있습니다. 중요한 것은 언제 설문조사가 효과적이고, 언제 다른 방법론이 더 유효한지를 명확하게 판단하는 것이에요.