최적의 웹조사 포맷은?

아래 논문은 전국 조사 확률 표본 웹조사에서 분기(Branch), 그리드(Grid) 및 단일 항목(Single-Item) 질문 형식을 비교 한 실험 결과를 보고합니다. 응답 시간, 항목 무응답, 설문 조사 중단 비율, 응답 분포 및 기준 유효성 측면에서 세 가지 형식을 비교합니다. 평균적으로 그리드 형식이 가장 빠른 답을 얻었고 단일 항목 형식은 중간이며 분기 형식이 가장 오래 걸렸습니다. 항목 비 응답 비율은 단일 항목 형식의 경우 가장 낮고, 그리드의 경우 중간이고, 분기에서는 가장 높았지만, 이 결과는 전체 실험 설계를 모델링 할 때 통계적으로 유의하지 않았습니다. 형식 중 설문 조사 중단 비율은 통계적으로 구별 할 수 없습니다. 분기 형식에서 기준 유효성이 가장 낮았습니다. 그리드와 단일 항목 형식 사이에는 큰 차이가 없었습니다. 이 증거는 분기 형식이 인터넷 데이터 수집에 적합하지 않으며 단일 항목 및 짧고 잘 구성된 그리드가 더 나은 질문 형식임을 나타냅니다.

분기(Branch) 질문은 강도가 있는 바이폴라 척도를 일단은 2점 척도로 묻고, 그 다음에 매우인지 약간인지 강도를 묻는 방식입니다. 일종의 가지치기 설문입니다. 

그리드(Grid) 질문은 각 항목을 표에 넣어 한꺼번에 물어보는 방식으로 최근 웹조사에서 가장 많이 활용하고 있습니다.

단일 항목(Single-Item) 질문은 한 화면에 한 가지 질문만 묻는 방식입니다. 분기(Branch) 질문과는 다르게 강도가 있는 바이폴라 척도를 한 방에 묻는 방식입니다.

수상한 여론조사라구요?

과거 투표행태 문항은 수만가지 이유에서 정확한 답을 얻기 어려운 문항 중 하나이다. 승자 편향, 침묵의 나선, 브래들리 효과 등 아무튼 응답자의 응답에 거짓이 들어갈 확률이 매우 높다.

그래서 미국의 대표적인 여론기관인 갤럽이나 퓨리서치 정기여론조사에서도 과거 투표행태 문항은 없다.
(있었으면 미국에서도 트럼프에게 선거했다는 응답 비율이 실제보다 높은지 확인해보고 싶지만 그럴 수 없었음)

그러므로 아래 중앙일보 기사는 '탐사'를 가장한 '난사'일 뿐이다. 기사에서도 나오지만 현직 대통령을 찍었다는 응답은 이 정권 외에 어떤 정권에서도 실제 득표율보다 높았으니 말이다.

과거 투표행태 문항이 그렇다고 필요 없는 건 아니다. 전략을 세우거나 Likely Voter를 판별하는데 있어서는 필요한 문항이다.

알고 썼어도 나쁘고 모르고 썼어도 나쁜 기사이다.

[출처: 중앙일보] 수상한 여론조사···응답자 절반이 文투표층이었다

https://news.joins.com/article/23624366

웹조사 연속척도 다음에 모르겠다나 해당없음을 그냥 붙여도 될까요?

웹조사 응답자들의 인지 과정 중 보기를 볼 때 가운데 지점(mid-point)에 더 집중하고 더 응답하는 경향이 있다는 것은 익히 알고 있는 사실이다.

이 논문은 이에 대해 실험조사를 한 것으로 이러한 가설을 검증하였다는 점에서 의미가 크다. 아이트랙커를 활용하여 실제 눈이 머문 시간까지 측정했다고 하니 놀라울 따름이다.

조금 더 자세히 보자.

아래 설문은 보통 많이 활용하는 방식이다. 5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것이다. 문제는 이렇게 배치하면서 중간포인트가 Too little이 되었다는 데 있다.

위 문항과 비교했을 때 아래 문항은 모르겠다와 의견 없음을 공간적으로 분리하면서 중간포인트가 About the right amount가 되었다.

아래 문항은 위 문항과 비슷한데 공간이 아닌 선으로 구분을 하였다. 역시 중간포인트가 About the right amount가 되었다.

그렇다면 위 세 개의 문항은 어떤 차이를 보였을까?

우선 응답 경향을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것)와 두 번째(모르겠다와 의견 없음을 공간적으로 분리) 문항에서 4번 Too little에 더 많이 응답한 것을 볼 수 있다. 반면 세 번째(모르겠다와 의견 없음을 선으로 구분)는 4번 문항에 상대적으로 적게 응답하였다.
중간포인트인 3번 About the right amount는 세 번째 조건에서 가장 많이 응답하였다.

모르겠다와 의견 없음에 집중한 시간을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것) 문항에서 가장 길었고, 다음으로 두 번째(모르겠다와 의견 없음을 공간적으로 분리), 세 번째(모르겠다와 의견 없음을 선으로 구분) 문항 순이었다. 단 그 차이는 통계적으로 유의하지 않았다.

이 논문에서는 세 가지 포맷의 문항 중 뭐가 가장 적합하다는 결론을 내지는 않고 그냥 응답값이 다를 수 있다 정도로 마무리하고 있다. 그러나 필자가 볼 때는 세 번째 즉 5점 척도이후 모르겠다와 의견 없음을 선으로 구분하는 포맷이 가장 적합한 응답을 받는 것이라는 생각이 든다.

웹리서치노트_웹조사 방법론의 '혁신'

모바일 웹조사의 특성과 향후 활용 전망(5월 31일 조사연구학회 발표자료)