설문조사 응답률의 감소는 설문조사 연구에서 중요한 관심사였다. 였다라고 쓴 이유는 이제는 너무도 당연하게 받아들여지고 있기 때문이다. 그래서 그런지 최근에는 무응답 이유를 분석하는 논문이 거의 없다시피 했다. 그러나 네덜란드 통계청에서 최근 무응답자 조사를 진행했고, 그 결과를 공유한다.
네덜란드 통계청은 설문 무응답자 2763명을 방문하여 그 중에서 1678명에게 무응답 이유를 받을 수 있었다. 그러나 충격적이게도 질적 인터뷰를 시도한 건에 대해서는 성공자가 0명이었다.
 |
바야흐로 확률기반 온라인 패널의 시대를 살고 있습니다. 코로나를 지나면서 확률기반패널은 더 날개(?)룰 단 것으로 보입니다.
다만 확률기반 온라인 패널에 대한 여러 우려 중 하나인 패널 컨디셔닝 효과가 강하게 나타날 수 있는 우려에 대해서는 지금까지 딱히 증거에 기반한 논문이 없었습니다. 즉 많아봐야 1만명 내외인 패널을 구축하고 조사를 지속적으로 실시하면 조사로 인한 효과가 나타날 것 아니냐는 우려가 지속적으로 제기되었고 이에 대한 마땅한 답이 지금까지는 없었습니다.
이런 배경에서 아래 논문은 패널 컨디셔닝 우려에 대한 하나의 답이 될 수 있을 것으로 보입니다. 이 논문에서는 큰 문제 없다는 결론을 내리고 있습니다.
 |
웹서베이로 정치조사를 하면 진보 편향이 일어나고 있는 듯 하다. 액세스 패널에 가입하고 조사에 참여하는 사람들의 성향이 보수보다는 진보성향이 더 많아서 나타나는 현상으로 보인다. 사실 이러한 이유로 우리나라에서는 웹조사로 시행한 정치조사가 거의 공표되지 않고 있다.
이러한 현상은 우리나라만의 문제는 아닌 듯 하다. 미국이나 영국에서 시행하고 있는 웹조사 형태의 정치조사 방법론을 보면 이런 문제를 해결하기 위해 다양한 변수를 가중치로 활용하고 있다. 정치 관심도, 뉴스 관심도, 사회 참여도 등이 그 예이다.
그런데 미국이나 영국 웹조사의 가중치 관련 자료를 보다 보면 그것만으로는 부족했던 것인지는 몰라도 (대놓고) 정당일체감 변인도 가중치로 활용하고 있음을 알 수 있다. 미국의 대표적인 조사기관인 퓨리서치 웹조사를 보면 아래와 같이 벤치마크 소스는 달라졌더라도 정당일체감 변인을 가중 변인으로 활용하고 있다. 과거에는 최근 전화조사 3회의 평균값을 벤치마크로 활용했고, 최근에는 1년에 한 번 자체적으로 실시하는 레퍼런스 조사(ABS 방식의 우편조사)를 벤치마크로 활용했다.
우리나라에서도 웹서베이 대표성 제고를 위한 가중치 변수로 정당지지를 넣을 수 있을까?
필자 의견은 못 할 이유가 없다는 것이고, 이러한 작업 없이는 사실상 웹조사의 진보 편향을 막기란 사실상 불가능하다고 생각한다.
우리나라에서 전화면접으로 정기조사를 하는 곳은 몇 년 전까지만 한국갤럽과 NBS(엠브레인퍼블릭, 케이스탯리서치, 코리아리서치, 한국리서치) 정도였다. 두 정기조사는 대통령 국정평가나 정당지지도 등 주요 정치 지표에서 큰 차이를 보이지 않았다. (물론 시기별로 추이 등에서 차이가 나는 경우도 있었지만 크게 보면 두 조사간 차이는 크지 않았음)
그러나 '여론조사꽃'이 전화면접 정기조사를 하면서 부터는 양상이 달라졌다. 특히 정당지지도에서 여론조사꽃 결과가 한국갤럽이나 NBS와 큰 차이가 나면서 '이건 뭐지?'하는 질문이 제기되었다. 그러면서 아 '여론조사꽃'이 김어준이 하는 회사니까 민주당에 유리하게 조사를 하는 걸꺼야 라는 말이 여기저기서 나왔다.
정말 그런 이유일까? 이를 알아보기 위해 최근 세 개 조사회사의 결과를 비교해봤다. 민주당 지지율에서 여론조사꽃이 한국갤럽이나 NBS와 큰 차이를 보였다. 역시나 그런 이유인걸까 라고 넘어가려는 찰나 국정평가 결과가 눈에 들어왔다. 아래 표를 보면 알겠지만 국정평가 긍정비율은 세 개 조사회사별 차이가 거의 없다는 것을 알 수 있다.
그럼 왜? 초심으로 돌아가 질문 문항을 살펴봤다. 유레카....한국갤럽과 NBS에서는 "지지하는가" 로 묻고 있는 반면, 여론조사꽃은 "지지하거나 조금이라도 더 호감이 가는"으로 묻고 있었다. 결국 워딩의 차이가 정당지지도에 가장 큰 영향을 주는 거 같다.
<한국갤럽 정당지지도 문항>
<NBS 정당지지도 문항>
<여론조사꽃 정당지지도 문항>
