메소드서베이

  그렇다면 미국인들은 퓨 리서치 센터 설문 조사에 어떻게 참여할까요? 존 그램리치 (퓨 리서치 센터 그림) Pew Research Center에서 우리는 독자들로부터 여론조사 방법론에 대한 질문을 정기적으로 받습니다. 여기에는 여론조사를 받고  싶어  하지만 기회가 없었던 사람의 질문도 포함됩니다. 이런 종류의 질문은 평균적인 미국인이 여론조사 방법론의 전문가가 아닐 가능성이 높기 때문에 이해할 만합니다. 여기서 우리는 미국 중심의 Pew Research Center 여론 조사에 대한 기본 사항에 대해 가장 자주 받는 질문 중 일부를 다룹니다. 이 설명자는 12,000명 이상의 미국 성인으로 구성된 국가 대표 그룹인  American Trends Panel을  사용하여 실시하는 여론 조사에 특히 초점을 맞춥니다 . 다른 방식으로도 여론 조사를 실시하지만, 대부분의 미국 설문 조사를 실시하기 위해 패널에 의존합니다. 우리가 이것을 어떻게 했는지 설문조사에 참여하려면 어떻게 등록해야 하나요? 안타깝게도 그럴 수 없습니다. 센터는  무작위 표본 추출  에 의존하는데 , 이는 설문 조사를 요청한 사람들에게 단순히 설문 조사를 하는 것이 아니라 무작위로 연락하여 설문 조사에 참여하도록 사람들을 초대한다는 것을 의미합니다. 이를 통해 미국 내 거의 모든 사람이 대략적으로 동일한 확률로 선택될 수 있도록 보장하는 데 도움이 됩니다. 또한 설문 조사 참여자가 우리가 연구하려는 더 광범위한 인구, 가장 일반적으로는 18세 이상의 미국 성인을 대표할 가능성도 높아집니다. 여론조사를 받고 싶어하는 사람들만을 대상으로 여론조사를 실시한다면 미국 성인을 대표하는 표본을 얻을 수  없습니다  . 그 이유는 간단합니다. "자원봉사자"가 일반 대중과 주요 면에서 다를 수 있기 때문입니다. 설문조사에 참여할 미국인을 무작위로 어떻게 선정하시나요? 과거에 센터는 무작위로 미국 유선전화와 휴대전화 번호를 추출하여 ...

   웹조사 하면 반드시 뒤따르는 것이 '(웹조사) 패널'이다.  전화조사의 대표적인 표집틀이 가상번호나 RDD인 것 처럼 웹조사의 가장 대표적인 표집틀은 패널이기 때문이다. 즉 웹조사를 하려면 거의 표집틀로 패널이 필요하다는 의미이다. (물론 웹조사의 표집틀로 가상번호나 RDD를 활용할 수는 있으나 제도적으로 가상번호에는 문자를 보낼 수 없고, RDD로 문자를 보낼 수 있으나 응답율이 낮고 대표성이나 정확성이 낮은 문제가 있음)    웹조사의 가장 대표적인 표집틀이 패널이라는 것은 웹조사를 진행하는 조사회사가 어떤 패널을 활용하느냐에 따라 조사의 대표성이나 정확성에 큰 영향을 준다는 것을 의미한다. 조사회사가 가진 패널의 상태에 따라 조사 결과가 많이 달라질 수 있다는 것이다.    그런데 문제는 우리나라에서 웹조사 패널의 현황을 투명하게 오픈하고 있는 회사가 그리 많지 않다는데 있다. 여기서 투명하게 오픈한다는 의미는 단순히 패널의 규모(몇 명이다) 말고 패널과 관련한 다양한 정보를 알 수 있어야 한다는 뜻이다. 이런 차원에서 우리나라의 웹조사 패널은 어떠한 것이 있고 각 패널의 현황을 잘 소개하고 있는지를 알아보고자 한다.    아래 표의 패널은 한국조사협회 정회원사로 등록된 조사회사 중에서 필자가 홈페이지 등에 들어가서 확인한 내용이다. 정확한 자료는 아니고 찾을 수 있는 정보를 바탕으로 작성하였다.  

  패널조사나 대규모 대면조사를 진행해오던 조사에서 웹조사의 효과 소위 모드 효과에 대한 걱정은 항상 있었습니다. 이와 관련하여 18-49세에서는 최소한 모드 효과가 거의 없다는 논문이 나왔습니다.

   설문조사 응답률의 감소는 설문조사 연구에서 중요한 관심사였다. 였다라고 쓴 이유는 이제는 너무도 당연하게 받아들여지고 있기 때문이다. 그래서 그런지 최근에는 무응답 이유를 분석하는 논문이 거의 없다시피 했다. 그러나 네덜란드 통계청에서 최근 무응답자 조사를 진행했고, 그 결과를 공유한다.   네덜란드 통계청은 설문 무응답자 2763명을 방문하여 그 중에서 1678명에게 무응답 이유를 받을 수 있었다. 그러나 충격적이게도 질적 인터뷰를 시도한 건에 대해서는 성공자가 0명이었다.

   바야흐로 확률기반 온라인 패널의 시대를 살고 있습니다. 코로나를 지나면서 확률기반패널은 더 날개(?)룰 단 것으로 보입니다.   다만 확률기반 온라인 패널에 대한 여러 우려 중 하나인 패널 컨디셔닝 효과가 강하게 나타날 수 있는 우려에 대해서는 지금까지 딱히 증거에 기반한 논문이 없었습니다. 즉 많아봐야 1만명 내외인 패널을 구축하고 조사를 지속적으로 실시하면 조사로 인한 효과가 나타날 것 아니냐는 우려가 지속적으로 제기되었고 이에 대한 마땅한 답이 지금까지는 없었습니다.   이런 배경에서 아래 논문은 패널 컨디셔닝 우려에 대한 하나의 답이 될 수 있을 것으로 보입니다. 이 논문에서는 큰 문제 없다는 결론을 내리고 있습니다.

   웹서베이로 정치조사를 하면 진보 편향이 일어나고 있는 듯 하다. 액세스 패널에 가입하고 조사에 참여하는 사람들의 성향이 보수보다는 진보성향이 더 많아서 나타나는 현상으로 보인다. 사실 이러한 이유로 우리나라에서는 웹조사로 시행한 정치조사가 거의 공표되지 않고 있다.   이러한 현상은 우리나라만의 문제는 아닌 듯 하다. 미국이나 영국에서 시행하고 있는 웹조사 형태의 정치조사 방법론을 보면 이런 문제를 해결하기 위해 다양한 변수를 가중치로 활용하고 있다. 정치 관심도, 뉴스 관심도, 사회 참여도 등이 그 예이다.   그런데 미국이나 영국 웹조사의 가중치 관련 자료를 보다 보면 그것만으로는 부족했던 것인지는 몰라도 (대놓고) 정당일체감 변인도 가중치로 활용하고 있음을 알 수 있다. 미국의 대표적인 조사기관인 퓨리서치 웹조사를 보면 아래와 같이 벤치마크 소스는 달라졌더라도 정당일체감 변인을 가중 변인으로 활용하고 있다. 과거에는 최근 전화조사 3회의 평균값을 벤치마크로 활용했고, 최근에는 1년에 한 번 자체적으로 실시하는 레퍼런스 조사(ABS 방식의 우편조사)를 벤치마크로 활용했다.   우리나라에서도 웹서베이 대표성 제고를 위한 가중치 변수로 정당지지를 넣을 수 있을까? 필자 의견은 못 할 이유가 없다는 것이고, 이러한 작업 없이는 사실상 웹조사의 진보 편향을 막기란 사실상 불가능하다고 생각한다.