메소드서베이

   웹조사 하면 반드시 뒤따르는 것이 '(웹조사) 패널'이다.  전화조사의 대표적인 표집틀이 가상번호나 RDD인 것 처럼 웹조사의 가장 대표적인 표집틀은 패널이기 때문이다. 즉 웹조사를 하려면 거의 표집틀로 패널이 필요하다는 의미이다. (물론 웹조사의 표집틀로 가상번호나 RDD를 활용할 수는 있으나 제도적으로 가상번호에는 문자를 보낼 수 없고, RDD로 문자를 보낼 수 있으나 응답율이 낮고 대표성이나 정확성이 낮은 문제가 있음)    웹조사의 가장 대표적인 표집틀이 패널이라는 것은 웹조사를 진행하는 조사회사가 어떤 패널을 활용하느냐에 따라 조사의 대표성이나 정확성에 큰 영향을 준다는 것을 의미한다. 조사회사가 가진 패널의 상태에 따라 조사 결과가 많이 달라질 수 있다는 것이다.    그런데 문제는 우리나라에서 웹조사 패널의 현황을 투명하게 오픈하고 있는 회사가 그리 많지 않다는데 있다. 여기서 투명하게 오픈한다는 의미는 단순히 패널의 규모(몇 명이다) 말고 패널과 관련한 다양한 정보를 알 수 있어야 한다는 뜻이다. 이런 차원에서 우리나라의 웹조사 패널은 어떠한 것이 있고 각 패널의 현황을 잘 소개하고 있는지를 알아보고자 한다.    아래 표의 패널은 한국조사협회 정회원사로 등록된 조사회사 중에서 필자가 홈페이지 등에 들어가서 확인한 내용이다. 정확한 자료는 아니고 찾을 수 있는 정보를 바탕으로 작성하였다.  

  패널조사나 대규모 대면조사를 진행해오던 조사에서 웹조사의 효과 소위 모드 효과에 대한 걱정은 항상 있었습니다. 이와 관련하여 18-49세에서는 최소한 모드 효과가 거의 없다는 논문이 나왔습니다.

   설문조사 응답률의 감소는 설문조사 연구에서 중요한 관심사였다. 였다라고 쓴 이유는 이제는 너무도 당연하게 받아들여지고 있기 때문이다. 그래서 그런지 최근에는 무응답 이유를 분석하는 논문이 거의 없다시피 했다. 그러나 네덜란드 통계청에서 최근 무응답자 조사를 진행했고, 그 결과를 공유한다.   네덜란드 통계청은 설문 무응답자 2763명을 방문하여 그 중에서 1678명에게 무응답 이유를 받을 수 있었다. 그러나 충격적이게도 질적 인터뷰를 시도한 건에 대해서는 성공자가 0명이었다.

   바야흐로 확률기반 온라인 패널의 시대를 살고 있습니다. 코로나를 지나면서 확률기반패널은 더 날개(?)룰 단 것으로 보입니다.   다만 확률기반 온라인 패널에 대한 여러 우려 중 하나인 패널 컨디셔닝 효과가 강하게 나타날 수 있는 우려에 대해서는 지금까지 딱히 증거에 기반한 논문이 없었습니다. 즉 많아봐야 1만명 내외인 패널을 구축하고 조사를 지속적으로 실시하면 조사로 인한 효과가 나타날 것 아니냐는 우려가 지속적으로 제기되었고 이에 대한 마땅한 답이 지금까지는 없었습니다.   이런 배경에서 아래 논문은 패널 컨디셔닝 우려에 대한 하나의 답이 될 수 있을 것으로 보입니다. 이 논문에서는 큰 문제 없다는 결론을 내리고 있습니다.

   웹서베이로 정치조사를 하면 진보 편향이 일어나고 있는 듯 하다. 액세스 패널에 가입하고 조사에 참여하는 사람들의 성향이 보수보다는 진보성향이 더 많아서 나타나는 현상으로 보인다. 사실 이러한 이유로 우리나라에서는 웹조사로 시행한 정치조사가 거의 공표되지 않고 있다.   이러한 현상은 우리나라만의 문제는 아닌 듯 하다. 미국이나 영국에서 시행하고 있는 웹조사 형태의 정치조사 방법론을 보면 이런 문제를 해결하기 위해 다양한 변수를 가중치로 활용하고 있다. 정치 관심도, 뉴스 관심도, 사회 참여도 등이 그 예이다.   그런데 미국이나 영국 웹조사의 가중치 관련 자료를 보다 보면 그것만으로는 부족했던 것인지는 몰라도 (대놓고) 정당일체감 변인도 가중치로 활용하고 있음을 알 수 있다. 미국의 대표적인 조사기관인 퓨리서치 웹조사를 보면 아래와 같이 벤치마크 소스는 달라졌더라도 정당일체감 변인을 가중 변인으로 활용하고 있다. 과거에는 최근 전화조사 3회의 평균값을 벤치마크로 활용했고, 최근에는 1년에 한 번 자체적으로 실시하는 레퍼런스 조사(ABS 방식의 우편조사)를 벤치마크로 활용했다.   우리나라에서도 웹서베이 대표성 제고를 위한 가중치 변수로 정당지지를 넣을 수 있을까? 필자 의견은 못 할 이유가 없다는 것이고, 이러한 작업 없이는 사실상 웹조사의 진보 편향을 막기란 사실상 불가능하다고 생각한다.   

   우리나라에서 전화면접으로 정기조사를 하는 곳은 몇 년 전까지만 한국갤럽과 NBS(엠브레인퍼블릭, 케이스탯리서치, 코리아리서치, 한국리서치) 정도였다. 두 정기조사는 대통령 국정평가나 정당지지도 등 주요 정치 지표에서 큰 차이를 보이지 않았다. (물론 시기별로 추이 등에서 차이가 나는 경우도 있었지만 크게 보면 두 조사간 차이는 크지 않았음)   그러나 '여론조사꽃'이 전화면접 정기조사를 하면서 부터는 양상이 달라졌다. 특히 정당지지도에서 여론조사꽃 결과가 한국갤럽이나 NBS와 큰 차이가 나면서 '이건 뭐지?'하는 질문이 제기되었다. 그러면서 아 '여론조사꽃'이 김어준이 하는 회사니까 민주당에 유리하게 조사를 하는 걸꺼야 라는 말이 여기저기서 나왔다.   정말 그런 이유일까? 이를 알아보기 위해 최근 세 개 조사회사의 결과를 비교해봤다. 민주당 지지율에서 여론조사꽃이 한국갤럽이나 NBS와 큰 차이를 보였다. 역시나 그런 이유인걸까 라고 넘어가려는 찰나 국정평가 결과가 눈에 들어왔다. 아래 표를 보면 알겠지만 국정평가 긍정비율은 세 개 조사회사별 차이가 거의 없다는 것을 알 수 있다.   그럼 왜? 초심으로 돌아가 질문 문항을 살펴봤다. 유레카....한국갤럽과 NBS에서는 " 지지하는가 " 로 묻고 있는 반면, 여론조사꽃은 " 지지하거나 조금이라도 더 호감이 가는 "으로 묻고 있었다. 결국 워딩의 차이가 정당지지도에 가장 큰 영향을 주는 거 같다. <한국갤럽 정당지지도 문항> <NBS 정당지지도 문항> <여론조사꽃 정당지지도 문항>