메소드서베이

아래 논문은 전국 조사 확률 표본 웹조사에서 분기(Branch) , 그리드(Grid) 및 단일 항목(Single-Item) 질문 형식을 비교 한 실험 결과를 보고합니다 . 응답  시간 , 항목 무응답 , 설문 조사 중단 비율 , 응답 분포 및 기준 유효성 측면에서 세 가지 형식을 비교합니다 . 평균적으로 그리드 형식이 가장 빠른 답을 얻었고 단일 항목 형식은 중간이며 분기 형식이 가장 오래 걸렸습니다 . 항목 비 응답 비율은 단일 항목 형식의 경우 가장 낮고 , 그리드의 경우 중간이고 , 분기에서는 가장 높았지만 ,  이 결과는 전체 실험 설계를 모델링 할 때 통계적으로 유의하지 않았습니다 . 형식 중 설문 조사 중단 비율은 통계적으로 구별 할 수 없습니다 . 분기 형식에서 기준 유효성이 가장 낮았습니다 . 그리드와 단일 항목 형식 사이에는 큰 차이가 없었습니다 . 이 증거는 분기 형식이 인터넷 데이터 수집에 적합하지 않으며 단일 항목 및 짧고 잘 구성된 그리드 가 더 나은 질문 형식임을 나타냅니다 . 분기(Branch) 질문은 강도가 있는 바이폴라 척도를 일단은 2점 척도로 묻고, 그 다음에 매우인지 약간인지 강도를 묻는 방식입니다. 일종의 가지치기 설문입니다.  그리드(Grid) 질문은 각 항목을 표에 넣어 한꺼번에 물어보는 방식으로 최근 웹조사에서 가장 많이 활용하고 있습니다. 단일 항목(Single-Item) 질문은 한 화면에 한 가지 질문만 묻는 방식입니다. 분기(Branch) 질문과는 다르게 강도가 있는 바이폴라 척도를 한 방에 묻는 방식입니다.

과거 투표행태 문항은 수만가지 이유에서 정확한 답을 얻기 어려운 문항 중 하나이다. 승자 편향, 침묵의 나선, 브래들리 효과 등 아무튼 응답자의 응답에 거짓이 들어갈 확률이 매우 높다. 그래서 미국의 대표적인 여론기관인 갤럽이나 퓨리서치 정기여론조사에서도 과거 투표행태 문항은 없다. (있었으면 미국에서도 트럼프에게 선거했다는 응답 비율이 실제보다 높은지 확인해보고 싶지만 그럴 수 없었음) 그러므로 아래 중앙일보 기사는 '탐사'를 가장한 '난사'일 뿐이다. 기사에서도 나오지만 현직 대통령을 찍었다는 응답은 이 정권 외에 어떤 정권에서도 실제 득표율보다 높았으니 말이다. 과거 투표행태 문항이 그렇다고 필요 없는 건 아니다. 전략을 세우거나 Likely Voter를 판별하는데 있어서는 필요한 문항이다. 알고 썼어도 나쁘고 모르고 썼어도 나쁜 기사이다. [출처: 중앙일보] 수상한 여론조사···응답자 절반이 文투표층이었다 https://news.joins.com/article/23624366

웹조사 응답자들의 인지 과정 중 보기를 볼 때 가운데 지점(mid-point)에 더 집중하고 더 응답하는 경향이 있다는 것은 익히 알고 있는 사실이다. 이 논문은 이에 대해 실험조사를 한 것으로 이러한 가설을 검증하였다는 점에서 의미가 크다. 아이트랙커를 활용하여 실제 눈이 머문 시간까지 측정했다고 하니 놀라울 따름이다. 조금 더 자세히 보자. 아래 설문은 보통 많이 활용하는 방식이다. 5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것이다. 문제는 이렇게 배치하면서 중간포인트가 Too little이 되었다는 데 있다. 위 문항과 비교했을 때 아래 문항은 모르겠다와 의견 없음을 공간적으로 분리하면서 중간포인트가 About the right amount가 되었다. 아래 문항은 위 문항과 비슷한데 공간이 아닌 선으로 구분을 하였다. 역시 중간포인트가 About the right amount가 되었다. 그렇다면 위 세 개의 문항은 어떤 차이를 보였을까? 우선 응답 경향을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것)와 두 번째(모르겠다와 의견 없음을 공간적으로 분리) 문항에서 4번 Too little에 더 많이 응답한 것을 볼 수 있다. 반면 세 번째(모르겠다와 의견 없음을 선으로 구분)는 4번 문항에 상대적으로 적게 응답하였다. 중간포인트인 3번 About the right amount는 세 번째 조건에서 가장 많이 응답하였다. 모르겠다와 의견 없음에 집중한 시간을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것) 문항에서 가장 길었고, 다음으로 두 번째(모르겠다와 의견 없음을 공간적으로 분리), 세 번째(모르겠다와 의견 없음을 선으로 구분) 문항 순이었다. 단 그 차이는 통계적으로 유의하지 않았다. 이 논문에서는 세 가지 포맷의 문항 중 뭐가 가장 적합하다는 결론을 내지는 않고 그냥 응답값이 다를 수 있다 정도로 마무리하고 있다. 그러나 필자가 볼 때는 세...