썩어도 준치? 응답율 낮은 RDD 확률조사와 옵트인패널 웹조사의 비교

   응답율 낮은 RDD 확률조사와 옵트인패널 웹조사 중 어떤 조사가 더 나을까? 아래 논문은 이러한 질문에 대한 답을 주고 있다. 그러나 글을 읽어보면서 약간 문제가 있다는 생각이 들었다. 응답율 낮은 RDD 전화조사의 비교우위를 위해 너무 급이 낮은 웹조사를 가져온 거 아닐까 하는 의심이 들었다.

  여하튼 이 글은 결론은 썩어도 준치라는 것이다.

휴대전화 가상번호 사용 확대에 대하여

  현재 선거여론조사에 한하여 3사 이동통신사로부터 휴대전화 가상번호를 받을 수 있다. 구체적인 제도는 아래와 같다. 가상번호는 통신사에서 프로그램으로 만드는 가상의 번호를 말한다. 이 번호의 장점은 원래 전화번호가 노출되지 않는다는 점이다. 그런 점에서 안심번호라고도 불리운다.

  

  가상번호의 장점은 무엇일까?

  우선 이동통신사에서 가상번호를 받아보면 번호뿐만 아니라 성별과 연령대(예를들면 30대) 정보까지 있다. 그래서 할당조사 시 타겟을 정해서 재콜을 할 수 있는 장점이 있다.

  다음으로 표집틀의 투명성을 높일 수 있다. 조사회사마다 휴대전화 RDD 프로그램이 있지만 조금씩 다른데 비해 가상번호는 이동통신사에서 제공하는거라 그 기준이 명확할 수 밖에 없다.

  그렇다면 지금 제도의 문제점은 무엇일까?

  우선 용도를 공표나 보도 목적의 선거여론조사로 한정하면서 가상번호가 진정 필요한 시도나 시군구 단위의 지역조사에 활용할 수 없다. 전국 단위 못지 않게 지역에서도 여론조사 특히 전화여론조사에 대한 수요가 높다. 그러나 현재는 휴대전화를 활용하지 못해 집전화로만 조사하고 있는 상황이다. 당연히 대표성에 문제가 있을 수 밖에 없다.

  다음으로 제공된 가상번호로 문자를 보낼 수 없다는 한계가 있다. 현재 이통사에서 제공하는 가상번호는 오직 음성통화만 할 수 있다. 그래서 전화를 받지 않는 번호로 조사 독려 문자를 보낼 수 없다. 당연히 문자를 보낼 수 없으니 문자를 통해 url를 보내는 웹조사도 불가하다. 

  이와 관련하여 두 가지를 제안하고 싶다.

  첫째, 가상번호의 용도를 기타 사회조사로 확대했으면 한다. 무분별한 요청을 막기 위해서는 심사제도 같은 것을 마련할 수 있다.

  둘째, 가상번호로 문자를 보낼 수 있게 해야한다. 조사 참여 요청이나 웹조사 등을 위해서 이는 반드시 필요하다.

전화조사하면서 딴짓(?)하는 응답자, 괜찮은걸까요?

  전화면접조사를 하면서 응답자들은 멀티태스킹(딴짓?)을 얼마나 할까? 이게 응답의 질에 나쁜 영향을 줄까? 이에 대한 논문(아래 그림 참조)이 나와 소개한다.

  결론적으로 전화조사 응답자들은 과반 이상이 딴짓을 하고 있지만, 응답의 질에는 별 영향이 없었다.

서베이 모드 효과 실험조사 결과(웹조사 vs 전화면접조사)

  전화조사와 웹조사의 서베이 모드 효과를 알아보기 위해 아래와 같이 실험조사를 한국리서치에서 실시하였다. 표집틀은 한국리서치 액세스 패널이다. 순수한 모드 효과를 알아보기 위해 표집틀을 동일하게 하였다. CAWI는 PC를 통한 조사, CAMI는 스마트폰을 통한 조사, CATI는 전화면접조사를 의미한다.

  조사 결과를 보면 웹조사와 전화면접조사 간 모드 효과가 큰 것으로 나타났다. 전화면접조사의 경우 사회적 바람직성에 근거한 응답을 한 것으로 보인다. 

  *이 자료의 지적 소유권은 한국리서치가 가지고 있습니다. 무단 배포, 복사 행위는 법적으로 엄격히 금지되어 있음을 공지드립니다.

17개 시도별로 분석하려면 최소 몇 표본을 해야할까요?

  표본할당 차원에서 시도별로 유의미한 분석을 위해 몇 명 정도의 표본을 조사해야하는지에 대한 질문이 많다. 아무래도 조사 비용을 예상하기 위함일텐데 결론적으로 말하면 많이 조사할수록 좋은 것은 분명하다.

  하지만 조사 비용을 감안할 때 5,000명/10,000명/15,000명의 옵션으로 조사하면 시도별 분석이 가능하다고 본다. 그렇다면 왜 5,000명/10,000명/15,000명일까? 제곱근할당을 고려했을 때 최소 표본 지역인 세종시의 표본이 100명, 200명, 300명 가까이 되는 것을 고려했기 때문이다.

  5,000명을 조사할 경우 세종시를 100명 정도 확보할 수 있고, 서울이나 경기는 600명, 700명 정도 확보할 수 있다.

  10,000명을 조사할 경우 세종시를 200명 정도 확보할 수 있고, 서울이나 경기는 1,200명, 1,300명 정도 확보할 수 있다.

  15,000명을 조사할 경우 세종시를 300명 정도 확보할 수 있고, 서울이나 경기는 1,800명, 2,000명 정도 확보할 수 있다.

  표본수별 표집오차와 관련해서는 필자의 이전 블로그를 참고하기 바란다.

  https://method-survey.blogspot.com/2018/06/blog-post_19.html

웹서베이를 통한 '패널조사' 대중화?

  조사회사에서 실시하는 웹조사는 대부분 액세스 패널(일종의 조사를 허락한 회원)을 표집틀로 활용한다. 그러다 보니 일반 전화조사나 대면면접조사에 비해 같은 응답자를 고정하여 반복적으로 조사하는 '패널조사'에 매우 유리하다. 여기서 유리하다는 것은 응답 유지율이 높고 상대적으로 비용이 저렴하다는 뜻이다.

  우리나라에서 대규모로 시행되는 패널조사는 대부분 대면면접으로 진행되고 있고, 조사 비용도 억 단위로 매우 높은 편이다. 선거조사에서 활용한 적이 있는 전화조사를 통한 패널조사는 조사 비용은 상대적으로 높지 않았지만, 전화조사 성격상 질문 문항 수가 제한적이라는 단점이 있었다. 반면 웹조사를 통한 패널조사는 대면면접조사와 같이 긴 문항을 전화조사와 비슷하거나 낮은 비용으로 조사할 수 있는 강점이 있다.

  지금까지 실태조사가 아닌 주로 태도를 측정하는 선거조사나 사회조사에서 패널조사는 거의 이루어지지 못했다. 조사 성격상 많은 문항을 물어봐야하는데 대면면접조사로 할 경우 비용의 압박이 너무 크니 실행할 수 없었을 것이다. 웹조사는 이에 대한 대안이 될 수 있다.

  웹서베이를 통한 패널조사의 대중화가 멀지 않았다.

분석을 위해 정당지지 문항을 넣고 싶은데 가능한가요?

  어떤 설문이던 간에 지역, 성, 연령, 직업, 학력 외에 정파성을 알기 위한 문항으로 지지정당을 분석 변인으로 많이 활용한다. 예를 들어 에너지원에 대한 선호도 조사에서도 지지정당 문항이 필요할 수 있다. 정파성에 따라 에너지에 대한 태도가 다를 수 있기 때문이다. 에너지 뿐만 아니라 대부분의 사회조사에서 정파성은 중요한 변수일 것이다.

  그러나 선관위에서 지지정당 문항이 들어가면 선거여론조사라고 규정하면서 우리나라에서는 지지정당 문항을 공공기관 발주 여론조사에서 마음대로 넣을 수 없게 되었다. 넣을 수는 있지만 그 순간 선거여론조사로 규정되어 모든 설문 문항을 조사하기 3일전에 해당 지역 선관위에 신고를 해야한다. 재미(?)있는 것은 정치이념성향이나 대통령 직무평가 등 다른 정치적인 문항은 선거여론조사 문항이 아니라는 것이다. 그래서 필드에서는 사전신고를 하지 않으려고 정당지지 대신 정치이념이나 대통령 직무평가 문항으로 대체하고 있다.

  분석을 위한 정당지지도 문항을 이렇게까지 규제함으로써 사회조사 문항에서 정당 지지도 문항이 사라지고 있다. 이게 과연 정상적인 현상일까?