17개 시도별로 분석하려면 최소 몇 표본을 해야할까요?

  표본할당 차원에서 시도별로 유의미한 분석을 위해 몇 명 정도의 표본을 조사해야하는지에 대한 질문이 많다. 아무래도 조사 비용을 예상하기 위함일텐데 결론적으로 말하면 많이 조사할수록 좋은 것은 분명하다.

  하지만 조사 비용을 감안할 때 5,000명/10,000명/15,000명의 옵션으로 조사하면 시도별 분석이 가능하다고 본다. 그렇다면 왜 5,000명/10,000명/15,000명일까? 제곱근할당을 고려했을 때 최소 표본 지역인 세종시의 표본이 100명, 200명, 300명 가까이 되는 것을 고려했기 때문이다.

  5,000명을 조사할 경우 세종시를 100명 정도 확보할 수 있고, 서울이나 경기는 600명, 700명 정도 확보할 수 있다.

  10,000명을 조사할 경우 세종시를 200명 정도 확보할 수 있고, 서울이나 경기는 1,200명, 1,300명 정도 확보할 수 있다.

  15,000명을 조사할 경우 세종시를 300명 정도 확보할 수 있고, 서울이나 경기는 1,800명, 2,000명 정도 확보할 수 있다.

  표본수별 표집오차와 관련해서는 필자의 이전 블로그를 참고하기 바란다.

  https://method-survey.blogspot.com/2018/06/blog-post_19.html

웹서베이를 통한 '패널조사' 대중화?

  조사회사에서 실시하는 웹조사는 대부분 액세스 패널(일종의 조사를 허락한 회원)을 표집틀로 활용한다. 그러다 보니 일반 전화조사나 대면면접조사에 비해 같은 응답자를 고정하여 반복적으로 조사하는 '패널조사'에 매우 유리하다. 여기서 유리하다는 것은 응답 유지율이 높고 상대적으로 비용이 저렴하다는 뜻이다.

  우리나라에서 대규모로 시행되는 패널조사는 대부분 대면면접으로 진행되고 있고, 조사 비용도 억 단위로 매우 높은 편이다. 선거조사에서 활용한 적이 있는 전화조사를 통한 패널조사는 조사 비용은 상대적으로 높지 않았지만, 전화조사 성격상 질문 문항 수가 제한적이라는 단점이 있었다. 반면 웹조사를 통한 패널조사는 대면면접조사와 같이 긴 문항을 전화조사와 비슷하거나 낮은 비용으로 조사할 수 있는 강점이 있다.

  지금까지 실태조사가 아닌 주로 태도를 측정하는 선거조사나 사회조사에서 패널조사는 거의 이루어지지 못했다. 조사 성격상 많은 문항을 물어봐야하는데 대면면접조사로 할 경우 비용의 압박이 너무 크니 실행할 수 없었을 것이다. 웹조사는 이에 대한 대안이 될 수 있다.

  웹서베이를 통한 패널조사의 대중화가 멀지 않았다.

분석을 위해 정당지지 문항을 넣고 싶은데 가능한가요?

  어떤 설문이던 간에 지역, 성, 연령, 직업, 학력 외에 정파성을 알기 위한 문항으로 지지정당을 분석 변인으로 많이 활용한다. 예를 들어 에너지원에 대한 선호도 조사에서도 지지정당 문항이 필요할 수 있다. 정파성에 따라 에너지에 대한 태도가 다를 수 있기 때문이다. 에너지 뿐만 아니라 대부분의 사회조사에서 정파성은 중요한 변수일 것이다.

  그러나 선관위에서 지지정당 문항이 들어가면 선거여론조사라고 규정하면서 우리나라에서는 지지정당 문항을 공공기관 발주 여론조사에서 마음대로 넣을 수 없게 되었다. 넣을 수는 있지만 그 순간 선거여론조사로 규정되어 모든 설문 문항을 조사하기 3일전에 해당 지역 선관위에 신고를 해야한다. 재미(?)있는 것은 정치이념성향이나 대통령 직무평가 등 다른 정치적인 문항은 선거여론조사 문항이 아니라는 것이다. 그래서 필드에서는 사전신고를 하지 않으려고 정당지지 대신 정치이념이나 대통령 직무평가 문항으로 대체하고 있다.

  분석을 위한 정당지지도 문항을 이렇게까지 규제함으로써 사회조사 문항에서 정당 지지도 문항이 사라지고 있다. 이게 과연 정상적인 현상일까?

경마식 보도를 조장(?)하는 선관위?

  우리나라는 몇 년전부터 선거여론조사를 하려면 사전에 설문지와 함께 여론조사 신고서를 관할 선관위에 팩스(시대가 어느 시대인데...쩝)로 신고해야한다. 또한 보도를 하기 전에는 정해진 양식에 맞춰 해당 사이트에 등록을 해야한다. 부정적이고 무분별한 선거여론조사를 막기 위한 일종의 규제인 샘이다.

  그러나 이러한 규제는 그 순기능에도 불구하고 선거여론조사에 있어 경마식 보도를 조장(?)하는 결과를 보였다는게 필자 생각이다. 그 이유는 다음과 같다.

  우선 질문지 작성과 관련한 규제(선거여론조사기준 제6조)로 인해 후보자 지지도 이외에 다양하고 실험적인 설문 문항 개발이 사실상 불가능하게 되었다. 일례로 필자는 후보자 관련 부정적인 루머에 대해 유권자들이 인지하고 있는지, 그 루머가 선거에 영향을 미칠지 등에 대한 문항을 구성하였다가 지역 선관위로부터 해당 문항 삭제 요청을 받은 바 있다. 이 뿐 아니라 해당 후보자를 지지하는 이유와 지지하지 않는 이유 문항도 수정 요청을 받은 바 있다. 지지 이유의 보기와 지지하지 않는 이유의 보기가 주관적이라는 이유에서 였다. 설문 문항을 만들어본 사람이라면 이유 문항의 보기는 가설에 따라 만들어지고 주관적일수 밖에 없다는 것을 너무나 잘 알 것이다. 결국 해당 문항은 삭제하고 조사하였다. 이런 상황에서 기발하고 전략적이며 재미있는 설문 개발이 가능하겠는가?

  다음으로 정량조사 이외에 실험조사라던지 새로운 방법론을 적용한 조사(예를 들면 페이스리더기를 통한 조사 등)를 하여 보도하는 것이 사실상 불가능하다. 이에 대해서는 긴 말 하지 않겠다. 실무자로서 이런 조사를 선관위에 어떻게 사전 신고를 해야하고, 또 보도 전에 어떻게 등록해야할지가 막막할 뿐이다. 이런 상황에서 뭘 기대할 수 있을까?

  이러한 규제 속에서 할 수 있는건 소위 경마식 보도라고 불리우는 지지도 조사 뿐이다. 지지도 조사도 물론 쉽지 않다. 경력을 틀리지 않아야하고 후보자를 불러줄 때 로테이션을 하거나 기호순으로 불러줘야한다. 그리고 보기에 지지하는 후보가 없다와 모르겠다도 반드시 면접원이 불러줘야한다. 그래도 이게 그나마 쉬운 일이다.

  혹시 재미있고 색다른 선거여론조사를 기대하는가? 단언컨데 지금 상황에서는 그런 조사를 할 수도 없고, 보도할 수도 없다.

   

이제는 온리 휴대전화조사 시대로?

  여론조사 좀 하시는 분들에게는 익숙한 잡지인 Public Opinon Quarterly에서 2018년 여름호가 새로 나왔다. 뭐 재미있는거 없나하고 (제목만) 살펴보던 중 흥미로운 논문이 있어 소개하고자 한다.

  아래 논문을 보면 제목부터 센세이션하다. 한마디로 이제는 휴대전화 RDD 시대라는 거다. 지난 10년 이상 유무선 듀얼 RDD 시대가 지배하고 있다는 것을 감안하면 시사하는 바가 매우 크다. 내용을 보면 그냥 허투루하는 주장이 아니다. 2012년부터 2015년까지 퓨리서치에서 진행한 유무선 RDD 전화조사 원자료를 가지고 분석하였는데 휴대전화 RDD로 진행된 조사가 퀄러티 측면에서도 유선 RDD로 진행된 조사보다 낫다는 것이다. 스마트폰 보급율이 세계 최고인 우리나라에 시사하는 바가 큰 주장이다.

  좀 더 자세한 내용을 보려면 아래 사이트로 가면 된다.
  https://academic.oup.com/poq/article/82/2/279/5002117

여론조사 '웹이나'라고 들어보셨나요?

  웹과 세미나를 결합한 웹이나(Webinars)가 대세인 듯 하다. 테드와 다른 점은 화자가 화면에 나오지 않고 목소리로 설명만 한다는 것이다. 수강하는 사람은 장표만 보게 되고 설명만 들으면 된다. 콘텐츠에 오롯이 집중할 수 있어 매우 강점이 있다.

  필자가 오늘 소개할 것은 미국여론조사협회에서 운영하는 웹이나이다. 무료는 아니고 미국여론조사협회 비회원의 경우 편당 79불 정도를 지불해야한다. 또 하나의 장벽은 영어...(영어 공부 좀 열심히 할 걸 후회 중이다)

https://www.aapor.org/Education-Resources/Online-Education/Webinars.aspx

전화조사의 가장 큰 걸림돌은 무엇일까요?

  최근 전화조사에서는 집전화보가 휴대전화번호로 조사를 많이 한다. 적게는 50%에서 많게는 80%까지 휴대전화로 하고 있고, 시간이 지날수록 이 비율은 증가할 전망이다. 사실 이러한 변화는 집전화를 쓰는 가구 비율이 현격히 낮아지면서 이에 적응한 결과이다. 즉 전화번호의 커버리지를 휴대전화 사용을 통해 확대한 것이다.

  그렇다면 휴대전화를 쓰면서 커버리지는 정말 확대된 것일까? 이론적으로는 당연히 그렇다. 그러나 필드에서 느끼는 바는 꼭 그렇지 않다는 거다. 문제는 휴대전화로 5번이상 재컨택해도 전화를 안받는 비율이 전체 비율에서 가장 높다는 것이다. 신호는 분명히 가는데 안받는다. 왜 그럴까? 그 이유는 바로 후후콜과 같은 전화 차단앱 때문이라는게 필자의 생각이다. 물론 증거는 없다. 얼마나 많은 사람들이 이런 앱을 쓰는지도 모르기 때문이다.

  그러던 중 이와 관련한 미국여론조사협회 공식 리포트를 보게 되었다. 유레카...
이 레포트의 내용을 요약하면 미국에서 전화 차단앱으로 인한 여론조사 거절 문제는 상당히 심각하다는 것이다. 유추해보면 우리는 더하면 더했지 덜하지는 않을 것이다.

https://www.aapor.org/Education-Resources/Reports/Spam-Flagging-and-Call-Blocking-and-Its-Impact-on.aspx

  재미있는 것은 이에 대한 해결 방안이다. 로비가 허용된 미국이니만큼 협회 차원에서 여론조사 회사 번호는 전화차단이 되지 않도록 로비를 하겠다고 한다. 그 전까지는 조사회사에서 알아서 발신번호를 자주 바꾸라고 권하고 있다. 우리나라 조사협회도 이런 걸 고민해야하지 않을까?