스마트폰에서 표 문항이 작동하지 않는 이유 — 모바일웹 조사의 그리드 문제
모바일웹 조사 설문지를 검토하다 보면, 의뢰인이든 연구자든 한 가지 공통된 반응을 보이는 지점이 있다. 그리드(매트릭스) 문항을 개별 문항으로 풀어놓은 설문지를 처음 받았을 때의 반응이다.
"문항이 너무 많아 보이는데, 표로 묶으면 안 되나요?"
이 질문은 자연스럽다. 설문지를 문서로 볼 때는 표가 훨씬 깔끔하다. 10개 항목을 개별로 나열하면 페이지가 길어지고 산만해 보이는 반면, 하나의 표로 묶으면 한눈에 구조가 보인다. 검토하는 사람 입장에서는 당연히 표가 낫다.
문제는 설문지 문서를 읽는 사람과 설문에 실제로 응답하는 사람의 경험이 완전히 다르다는 점이다.
PC 웹조사 시대의 유산
그리드 문항은 PC 웹조사 시대의 산물이다. 1024px 이상의 가로 해상도에서 5열 × 10행 표는 완벽하게 작동한다. 한 화면에 전체 구조가 보이고, 응답자는 행 간 비교를 하면서 자신의 응답이 일관적인지 자연스럽게 점검한다. 연구자가 의도한 대로 "항목 간 상대적 비교"가 이뤄진다.
한국 조사업계에서 여전히 그리드 문항이 기본값(default)처럼 쓰이는 데는 이 시대의 관성이 크다. 여기에 몇 가지 이유가 겹친다.
첫째, 표는 전문적으로 보인다. 설문지를 의뢰인에게 제출할 때, 개별 문항 10개보다 표 1개가 "잘 설계된 조사"처럼 보인다. 솔직히 말하면, 있어 보인다. 연구자들이 이 유혹에서 벗어나기 쉽지 않다.
둘째, 문항 수 착시다. "총 30문항"이라고 적는 것보다 "총 15문항(일부 매트릭스 포함)"이라고 적는 편이 의뢰인의 비용 저항을 줄인다. 같은 분량의 조사를 적은 문항처럼 포장할 수 있다.
셋째, 분석 편의성이다. 같은 척도로 묶인 그리드는 SPSS에서 한 번에 빈도표를 뽑기 쉽다. 연구자 본인의 작업 효율을 응답자의 응답 경험보다 우선시하는 것인데, 대개 무의식적으로 그렇게 한다.
이 세 가지는 모두 조사자 측의 편의다. 응답자 측의 사정이 아니다.
모바일 화면에서 실제로 벌어지는 일
스마트폰 화면 가로폭은 대개 360~400px이다. 여기에 5열짜리 리커트 척도 표를 넣으면 어떻게 되는가.
가장 흔한 구현 방식은 표를 좌우 스크롤 가능하게 만드는 것이다. 응답자는 행 텍스트(항목)를 읽은 뒤, 오른쪽으로 밀어서 보기를 찾아 터치해야 한다. 이 과정에서 "매우 그렇다"와 "그렇다"의 시각적 구분이 모호해진다. 열 헤더가 화면 밖으로 사라지기 때문이다. 결과적으로 응답자는 보기의 의미를 파악하는 것이 아니라, 위치(왼쪽에서 몇 번째)로 응답하게 된다.
더 심각한 문제는 straight-lining이다. 10행짜리 그리드가 화면에 나타나면, 응답자에게는 "10개를 전부 채워야 다음으로 넘어간다"는 시각적 압박이 온다. 자연스러운 대응은 같은 열을 연속으로 찍는 것이다. 이건 불성실 응답이라기보다, 인터페이스가 유도하는 합리적 행동에 가깝다. Pew Research Center가 2019년에 수행한 모바일 vs PC 비교 실험에서, 그리드 문항의 모바일 straight-lining 비율이 PC 대비 유의하게 높았고, 같은 문항을 개별로 분리했을 때는 이 차이가 사라졌다.
항목 수가 많을수록 문제는 가속된다. 10행짜리 그리드의 마지막 3~4행에서 응답 분산이 급격히 줄어드는 현상은, 모바일웹 조사를 해본 사람이라면 데이터에서 반복적으로 목격했을 것이다. 이건 응답자의 태도가 변한 것이 아니라, 피로가 인터페이스에 의해 증폭된 것이다.
"문항이 적어 보인다"는 착각의 구조
여기서 흥미로운 역설이 있다. 설문지 문서에서는 표 1개(10행)가 개별 문항 10개보다 "적어" 보인다. 그런데 응답자의 체감에서는 정반대다.
개별 문항 10개는 화면 10개로 나뉜다. 한 화면에 질문 1개와 보기 4~5개만 보인다. 터치 한 번이면 다음으로 넘어간다. 진행 바(progress bar)가 한 칸씩 차오르는 것이 보인다. "빨리 끝나고 있다"는 느낌이 든다.
표 문항 1개는 화면 1개에 10행이 들어간다. 스크롤을 여러 번 해야 하고, 한 행을 채울 때마다 나머지 9행이 남아 있는 것이 보인다. 진행 바는 움직이지 않는다. "이게 언제 끝나나" 하는 심리적 부담이 누적된다.
문서 가독성과 응답 경험은 별개의 차원이다. 설문지를 검토하는 의뢰인이 "깔끔하다"고 느끼는 것과, 응답자가 "빨리 끝난다"고 느끼는 것은 다른 문제다. 설문 설계자는 후자를 기준으로 판단해야 한다.
그러면 표 문항은 언제 쓰는가
모바일웹에서도 표가 적절한 경우가 드물지만 존재한다. 핵심 기준은 "항목 간 상대적 비교가 응답의 본질인가"이다.
예를 들어, "다음 후보들에 대한 호감도를 각각 평가해 주십시오"는 개별로 분리해도 응답 품질에 차이가 없다. 응답자는 각 후보를 독립적으로 평가하는 것이지, A 후보와 B 후보의 호감도를 나란히 비교하면서 점수를 매기는 것이 아니다. 이런 문항은 분리하는 것이 맞다.
반면, "다음 두 브랜드의 속성별 우위를 비교해 주십시오"처럼 A와 B를 나란히 놓고 상대적 위치를 판단하는 것이 문항의 본질인 경우에는 표가 필요하다. 이때에도 행 수를 3~4개 이하로 제한하고, 좌우 스크롤이 발생하지 않도록 열 수를 줄여야 한다.
실무적 기준을 정리하면 이렇다.
- 모바일웹 조사에서 그리드를 쓸 때는 행 4개 이하, 열 3개 이하를 기준으로 삼는다.
- 이를 초과하면 개별 문항으로 분리한다.
- 분리할 때는 문항 간 Random 제시를 적용하여 순서 효과를 통제한다.
대부분의 그리드 문항은 이 기준을 초과한다. 즉, 대부분의 그리드는 분리해야 한다.
설문지 문서와 구현의 분리
결론적으로, "설문지 문서에서의 표 정리"와 "실제 모바일웹 구현에서의 표 제시"를 분리해서 생각해야 한다.
설문지 문서에서는 동일한 척도를 공유하는 항목들을 표로 묶어서 정리하는 것이 맞다. 내부 검토 가독성이 좋아지고, 문항 간 구조적 관계가 한눈에 보이기 때문이다. 이건 작성자와 검토자를 위한 포맷이다.
그러나 실제 모바일웹 구현에서는 그 표를 한 항목씩 개별 화면으로 쪼개서 제시해야 한다. 서베이박스, 서베이몽키 같은 모바일 대응 플랫폼에서도 그리드를 개별 화면으로 쪼개는 옵션이 기본 제공되는 이유가 여기에 있다.
설문지를 쓰는 사람이 설문에 답하는 사람이 아니다. 응답자는 우리가 만든 A4 문서를 보지 않는다. 응답자가 보는 것은 380px짜리 스마트폰 화면이다. 그 화면에서 "있어 보이는 것"과 "답하기 편한 것"은 다르다. 우리가 설계해야 하는 것은 후자다.
댓글 없음:
댓글 쓰기