이제는 온리 휴대전화조사 시대로?

  여론조사 좀 하시는 분들에게는 익숙한 잡지인 Public Opinon Quarterly에서 2018년 여름호가 새로 나왔다. 뭐 재미있는거 없나하고 (제목만) 살펴보던 중 흥미로운 논문이 있어 소개하고자 한다.

  아래 논문을 보면 제목부터 센세이션하다. 한마디로 이제는 휴대전화 RDD 시대라는 거다. 지난 10년 이상 유무선 듀얼 RDD 시대가 지배하고 있다는 것을 감안하면 시사하는 바가 매우 크다. 내용을 보면 그냥 허투루하는 주장이 아니다. 2012년부터 2015년까지 퓨리서치에서 진행한 유무선 RDD 전화조사 원자료를 가지고 분석하였는데 휴대전화 RDD로 진행된 조사가 퀄러티 측면에서도 유선 RDD로 진행된 조사보다 낫다는 것이다. 스마트폰 보급율이 세계 최고인 우리나라에 시사하는 바가 큰 주장이다.

  좀 더 자세한 내용을 보려면 아래 사이트로 가면 된다.
  https://academic.oup.com/poq/article/82/2/279/5002117

여론조사 '웹이나'라고 들어보셨나요?

  웹과 세미나를 결합한 웹이나(Webinars)가 대세인 듯 하다. 테드와 다른 점은 화자가 화면에 나오지 않고 목소리로 설명만 한다는 것이다. 수강하는 사람은 장표만 보게 되고 설명만 들으면 된다. 콘텐츠에 오롯이 집중할 수 있어 매우 강점이 있다.

  필자가 오늘 소개할 것은 미국여론조사협회에서 운영하는 웹이나이다. 무료는 아니고 미국여론조사협회 비회원의 경우 편당 79불 정도를 지불해야한다. 또 하나의 장벽은 영어...(영어 공부 좀 열심히 할 걸 후회 중이다)

https://www.aapor.org/Education-Resources/Online-Education/Webinars.aspx

전화조사의 가장 큰 걸림돌은 무엇일까요?

  최근 전화조사에서는 집전화보가 휴대전화번호로 조사를 많이 한다. 적게는 50%에서 많게는 80%까지 휴대전화로 하고 있고, 시간이 지날수록 이 비율은 증가할 전망이다. 사실 이러한 변화는 집전화를 쓰는 가구 비율이 현격히 낮아지면서 이에 적응한 결과이다. 즉 전화번호의 커버리지를 휴대전화 사용을 통해 확대한 것이다.

  그렇다면 휴대전화를 쓰면서 커버리지는 정말 확대된 것일까? 이론적으로는 당연히 그렇다. 그러나 필드에서 느끼는 바는 꼭 그렇지 않다는 거다. 문제는 휴대전화로 5번이상 재컨택해도 전화를 안받는 비율이 전체 비율에서 가장 높다는 것이다. 신호는 분명히 가는데 안받는다. 왜 그럴까? 그 이유는 바로 후후콜과 같은 전화 차단앱 때문이라는게 필자의 생각이다. 물론 증거는 없다. 얼마나 많은 사람들이 이런 앱을 쓰는지도 모르기 때문이다.

  그러던 중 이와 관련한 미국여론조사협회 공식 리포트를 보게 되었다. 유레카...
이 레포트의 내용을 요약하면 미국에서 전화 차단앱으로 인한 여론조사 거절 문제는 상당히 심각하다는 것이다. 유추해보면 우리는 더하면 더했지 덜하지는 않을 것이다.

https://www.aapor.org/Education-Resources/Reports/Spam-Flagging-and-Call-Blocking-and-Its-Impact-on.aspx

  재미있는 것은 이에 대한 해결 방안이다. 로비가 허용된 미국이니만큼 협회 차원에서 여론조사 회사 번호는 전화차단이 되지 않도록 로비를 하겠다고 한다. 그 전까지는 조사회사에서 알아서 발신번호를 자주 바꾸라고 권하고 있다. 우리나라 조사협회도 이런 걸 고민해야하지 않을까?

웹서베이를 맡길 때 고려해야할 5가지 체크리스트

  최근 일반국민 대상 여론조사를 웹조사로 하는 경우가 많아졌다. 웹조사에 대한 인식이 개선된 결과일 것이다. 그렇다면 웹조사를 맡길 때 어떤 점을 유의해야할까?

  1. 조사회사가 가지고 있는 액세스 패널(일종의 회원^^)이 확률추출기반인지 비확률추출기반인지를 알아본다. 고민할 필요 없이 확률추출기반의 액세스 패널은 세계에서도 손에 꼽힌다. 당연히 우리나라 조사회사에는 확률추출기반 액세스 패널이 없으니 안심(?)해도 된다.

  2. 비확률추출 기반의 액세스 패널일 경우 패널의 모집 경로가 다양한지 확인한다. 온라인으로만 패널을 모집했는지, 아니면 오프라인 모집을 병행했는지 확인해야한다. 당연히 온라인과 오프라인을 병행하여 모집한 액세스 패널이 온라인으로만 모집한 패널보다 질이 높을 확률이 높다.

  3. 응답 디바이스가 다양한지 확인한다. 즉 PC 이외에 스마트폰이나 패드로도 조사가 가능한지 확인할 필요가 있다. 또한 이메일로만 조사 참여를 요청하는지 문자로도 병행하는지 확인도 해야한다. 당연히 멀티 디바이스로 조사가 되는 것이 좋고, 이메일 외에 문자로도 조사참여를 하는 것이 좋다.

  4. 패널 관리 그 중에서도 1회 조사에 참여한 패널에게 얼마 후에 다시 조사에 참여하게 하는지를 살펴야한다. 그러한 기준이 없다면 일명 키보드 워리어에게 조사를 점령당하기 십상이다.

  5. 마지막으로 조사 참여 요청을 보내는 패널을 최소한으로 하는지 점검해야한다. 이론적으로는 1000명을 조사하기 위해 랜덤하게 뽑은 1000명의 패널에게만 조사 요청을 하는 것이 가장 좋다. 그러나 현실적으로 조사에 참여하지 않는 사람도 있으므로 최소한 5000명 이상에게는 보내는 게 현실이다. 물론 몇 만명에게 보낼 경우 조사는 빨리 끝날 수 있지만 이는 조사 품질에 나쁜 영향을 미친다.

여론조사에 대해 배울 수 있는 무료 온라인 강좌를 소개합니다

  온라인으로 여론조사에 대해 배울 수 있는 무료 온라인 강좌가 있어 소개합니다.
미국여론조사협회, 유럽조사협회, 세계여론조사협회가 공식적으로 인증한 강좌라 더 믿음이 가고 실제로 들어가 내용을 확인해보니 좋은 내용이 많습니다. 무료이고 회원가입은 필요합니다.

http://www.newsu.org/courses/understanding-and-interpreting-polls-international

대면면접조사 시 우리나라 조사회사에서는 가구 선정을 어떻게 하나요?

   전국 일반국민 대면면접조사는 주변에서 흔히 접할 수 있다. 설문지가 길고 인식이나 태도를 알아보는 류의 조사들은 대부분 대면면접조사를 한다고 보면 된다. 그렇다면 조사회사들은 대면면접조사에서 어떤 방식으로 가구를 선정할까?

  가구 선정에 있어 가장 중요한 변수는 해당 조사가 통계청 인증조사인지 여부이다. 통계청 인증조사일 경우에는 통계청에서 조사구(60가구 내외의 리스트 및 요도)를 받을 수 있어 조사구 내에서 가구를 선정한다.

  문제는 대다수의 비인증조사인데 이런 류의 조사는 가구를 어떻게 선정할까? 일단 조사구를 받을 수 없다(통계법 제30조 2항). 결론부터 얘기하면 가구를 선정하기 어렵다. 아니 선정할 수가 없다. 그 이유는 가구 리스트가 없기 때문이다. 그러면 면접원이 아무 지역에나 가서 마음대로 조사하는걸까? 그건 당연히 아니다. 이를 막기 위해 조사회사들은 집계구(조사구 4-5개를 합친 정도의 구역)를 활용한다. 해당 집계구 안에서 할당에 맞춰 조사를 하라는 의미이다.

  요약해서 이야기하면 통계청 인증조사가 아닌 이상 대면면접조사에서 확률적 가구 추출은 불가능하다. 물론 KGSS처럼 사전에 조사 지역 요도를 그리고 가구 리스트를 구축하면 가능할 수 있으나 조사회사에서 이는 불가능한 일이다. 만약 통계청 인증조사가 아닌 대면면접조사에서 가구를 계통적으로 추출했다느니 하는 말이 나오면 아 얘네들 사기(?)를 치는구나라고 생각하면 된다.

  개인적인 소망이 있다면 우리도 미국처럼 가구 주소를 공개적으로 신청하여 받을 수 있으면 좋겠다. 그럴 경우 ABS(Address Base Sampling) 방법으로 가구를 선정할 수 있기 때문이다. 아니면 조사구를 통계청 인증을 받지 않은 조사에서도 활용하게 해줬으면 좋겠다.

응답률이 낮으면 질이 낮은 조사일까?

  여론조사를 공격할 때 흔히들 지적하는 레퍼토리는 응답률이다. 낮은 응답률의 조사는 대표성과 자료의 질 차원에서 나쁘다는 것이다. 과연 이 말은 사실일까?

  지금까지 나온 결과를 종합해보면 이는 사실이 아니다. 정확하게는 응답률과 자료의 질과는 강한 연관 관계가 없다는 것이다. 심지어 언론 보도 시에 응답률을 반드시 이야기하지 않아도 된다는 게 미국여론조사협회의 입장이다. 응답률에 목을 맨 우리나라와는 사뭇 다른 입장이다.