'여론조사꽃'은 '김어준'이 운영하는 조사기관이라 민주당 지지율이 높은걸까?

   우리나라에서 전화면접으로 정기조사를 하는 곳은 몇 년 전까지만 한국갤럽과 NBS(엠브레인퍼블릭, 케이스탯리서치, 코리아리서치, 한국리서치) 정도였다. 두 정기조사는 대통령 국정평가나 정당지지도 등 주요 정치 지표에서 큰 차이를 보이지 않았다. (물론 시기별로 추이 등에서 차이가 나는 경우도 있었지만 크게 보면 두 조사간 차이는 크지 않았음)

  그러나 '여론조사꽃'이 전화면접 정기조사를 하면서 부터는 양상이 달라졌다. 특히 정당지지도에서 여론조사꽃 결과가 한국갤럽이나 NBS와 큰 차이가 나면서 '이건 뭐지?'하는 질문이 제기되었다. 그러면서 아 '여론조사꽃'이 김어준이 하는 회사니까 민주당에 유리하게 조사를 하는 걸꺼야 라는 말이 여기저기서 나왔다.

  정말 그런 이유일까? 이를 알아보기 위해 최근 세 개 조사회사의 결과를 비교해봤다. 민주당 지지율에서 여론조사꽃이 한국갤럽이나 NBS와 큰 차이를 보였다. 역시나 그런 이유인걸까 라고 넘어가려는 찰나 국정평가 결과가 눈에 들어왔다. 아래 표를 보면 알겠지만 국정평가 긍정비율은 세 개 조사회사별 차이가 거의 없다는 것을 알 수 있다.

  그럼 왜? 초심으로 돌아가 질문 문항을 살펴봤다. 유레카....한국갤럽과 NBS에서는 "지지하는가" 로 묻고 있는 반면, 여론조사꽃은 "지지하거나 조금이라도 더 호감이 가는"으로 묻고 있었다. 결국 워딩의 차이가 정당지지도에 가장 큰 영향을 주는 거 같다.

<한국갤럽 정당지지도 문항>

<NBS 정당지지도 문항>

<여론조사꽃 정당지지도 문항>

웹조사 시 7점 척도 구성의 최적 포맷은?

휴대전화 가상번호라는 '덫'

   우리나라는 전세계적으로 선거여론조사에서 전화조사 비중이 높은 나라이다. 거의 100%라고 해도 과언이 아니니 압도적 1위는 '따 놓은 당상'은 분명해 보인다.

  그렇다면 왜 이리도 선거여론조사에서 전화조사 비중이 높은걸까? 그것은 바로 우리나라에만 있는 독특한 표집틀인 '휴대전화 가상번호' 덕분(?)이다. 휴대전화 가상번호는 국내 통신 3사가 선거여론조사에 한해 목표 표본의 30배수까지 해당 조사 지역에 거주하는 만18세이상 유권자의 휴대전화번호를 가상번호 포맷으로 제공하는 제도이다. 전화번호만 제공하지 않고 전화번호 옆에 성별, 연령대, 지역(읍면동)까지 제공해서 할당조사를 주로 하는 국내에서는 조사 과정에 큰 도움이 되었다.

(사실 어느 나라의 전화조사 표집틀을 봐도 이리도 대표성이 높은 표집틀은 없을 것이다)

  그러나 완벽해 보이던 '휴대전화 가상번호' 제도에도 슬슬 허점이 보이고 있다. 소위 알뜰폰으로 빠져나가는 번호를 제공하지 못하는 점과 더불어 2020년 총선, 2022년 지방선거, 2022년 대선 등 3번의 큰 선거 이후 가상번호 제공을 거부하는 일명 '옵트 아웃' 유권자들이 증가하고 있다. 통신3사가 옵트 아웃 규모를 정확히 밝히고 있지는 않지만 상당할 것이라는 예측이 나오고 있다. 이러한 현상은 2024년 총선에서 더 심각해질 전망이다.

  더 큰 문제는 '휴대전화 가상번호'로 전화조사를 함에도 불구하고 응답율이 계속 낮아진다는 점이다. 30% 이상은 우습게 찍었던 NBS조사마저도 최근에는 10%대에 머무르고 있다. 

(가상번호는 아니지만 가장 오래된 한국갤럽의 정기조사 역시 최근에는 10%에도 미치지 못하고 있다.)  

  그렇다면 이러한 전화조사의 위기를 해결할 방법은 무엇일까? 문제는 현재로서는 없다는 것이다. 만능 치트키를 자처하던 휴대전화 가상번호 외에는 전화조사에 있어 최근 몇 년간 조사방법론 차원에서 발전이 거의 없었기 때문이다. 한 마디로 가상번호를 너무 믿었던 것이다.

  휴대전화 가상번호가 전화조사에 있어 '덫'이 될 수 있다는 점은 이러한 측면에서 제기할 수 있는 전망인 것이다.

  

떨어지고 있는 전화조사 응답율을 올릴 수 있는 몇 가지 아이디어

   최근 우리나라 전화조사의 응답율이 계속 낮아지고 있다. 그나마 높았던 NBS나 한국갤럽의 정기조사마저도 응답율이 낮아지고 있다. 이런 상황에서 응답율을 제고할 수 있는 몇 가지 아이디어를 생각해봤다.

  아래 기술할 아이디어는 기본적으로 혼합조사 모드의 일부(1-2 제외)임을 밝혀둔다. 그 밖에 가상번호로 문자를 보낼 수 있다는 가정 하에 기술하였다.

아이디어1-1: 표집틀인 가상번호로 조사 안내 문자를 보낸다. 그 후에 조사원이 전화를 걸어 전화면접을 실시한다. 3회 이상 전화를 해도 받지 않는 번호에 대해 조사 참여 url이 포함된 문자를 재전송한다.

아이디어1-2: 표집틀인 가상번호로 조사 안내 문자를 보낸다. 그 후에 조사원이 전화를 걸어 전화면접을 실시한다. 3회 이상 전화를 해도 받지 않는 번호에 대해 조사 참여 문자를 다시 보낸 후 조사원이 다시 한번 전화를 걸어 전화면접을 실시한다.

아이디어2: 표집틀인 가상번호로 조사 안내 문자와 함께 조사 참여 url을 보낸다. url을 통해 웹조사를 먼저 진행하고 남은 할당에 대해 조사원이 전화를 걸어 전화면접을 실시한다.

혼합조사(Mixed-Mode Survey)에서 총오차(Total Survey Error)

   총오차(Total Survey Error) 개념으로 접근해 볼 때, 혼합조사(Mixed-Mode Survey)는 측정오차와 관련해서는 손해를 보지만, 대표성 오차와 관련해서는 이익을 보는 일종의 '트레이드오프(trade off)' 상황을 전제한 것이다. 즉 모드효과 등으로 대표되는 측정 오차가 있음에도 그 오차가 선택편의(selection bias) 등으로 대표되는 표집 오차보다는 크지 않다는 전제에서 혼합조사를 시행한다는 이야기이다.  

여론조사에서 '필요하다'의 마법(?)

   우리나라 여론조사에서 유독 많이 활용되는 단어가 있는데...그것은 '필요하다(반대로 필요하지 않다)'이다...그러나 설문지에서 이 단어를 활용하는 것에 대해서는 조심할 필요가 있어 보인다...

  두 가지 설문과 그 결과로 예를 들어 설명해보겠다.

  우선 아래 조사는 MBC-코리아리서치가 지난 9월 7,8일 실시한 여론조사 중 김건희 여사 특검 관련한 문항인데...'필요한지 필요하지 않은지'로 물어보았다. 결과는 필요하다 62.7%였다.

  다음은 비슷한 시기에 SBS-넥스트리서치가 실시한 여론조사(9월 8,9일 실시)로 MBC와는 달리 필요여부로 묻지 않고 적절한지 여부로 물어보았다. 적절하다는 응답은 55% 였다.

  비슷한 시기에 MBC와 SBS가 실시한 여론조사 모두 김건희 여사 특검과 관련한 조사를 하였고, 두 조사 모두 특검을 해야한다는 의견이 과반을 넘었지만 그 강도는 매우 다르다. MBC는 60%를 넘은 반면, SBS 조사에서는 과반을 약간 넘은 정도다.

  그렇다면 이러한 차이는 왜 발생한 것인가? 예상대로 질문과 보기의 차이 때문일 것이다. 그러나 여기에는 '필요하다'의 마법(?)이 발동했다는 게 필자의 생각이다. 세상에 필요 없는 게 과연 얼마나 있을까? 왠만하면 필요한 거 아닐까?

  그래서 결론은 대립되는 이슈를 물을 때 '필요한지 여부'로 물어보는 것에 대해서 다시 한 번 생각해 볼 필요가 있다는 것이다. 왜냐하면 왠만하면 '필요하다'는 보기가 더 많이 나올 확률이 높기 때문이다...

  마지막으로 미국에서 총기 소유와 관련하여 아래와 같이 필요 여부로 문항을 만든다면 어떤 평가를 받을까?

  "귀하께서는 개인이 총기를 소유하는 것이 필요하다고 생각하십니까? 아니면 필요하지 않다고 생각하십니까?"

우리나라 통계청 온라인조사 설문의 문제점은?

  우리나라 통계청의 온라인조사 설문의 문제점은 무엇일까? 그것은 바로 어떤 조사던 상관없이 종이설문지 포맷과 최대한 비슷하게 프로그래밍 한다는데 있다.

  아래 온라인조사 화면은 5년마다 시행하는 공무원총조사의 온라인 조사 화면이다. 보시다시피 종이설문지와 거의 동일하다는 것을 알 수 있다. 

  이게 왜 문제일까? 종이설문지와 동일하니 측정에 있어 모드효과를 최소화할 수 있어 좋은 거 아니야 하는 분들이 있을 수 있다. 물론 맞는 말이다. 그러나 측정에 있어 모드효과에 너무 집착한 나머지 여러가지 문제가 있다는 걸 간과한 거 같다. 

  무엇이 문제인가? 가장 큰 문제는 이러한 온라인 설문 포맷으로는 스마트폰 조사를 할 수 없다는 데 있다. 두 번째로는 프로그램이 상당히 무거워지면서 전체적으로 느리다. 이러한 문제로 인해 온라인조사에 접속했다가 조사를 끝까지 못하는 현상이 자주 발생한다.

(통계청에서 하는 조사 온라인으로 접속해서 한 번만 해보면 이 문제는 누구나 알 수 있다)

  그렇다면 해외는 어떨까? 대표적으로 미국의 ACS 조사를 보면 스마트폰에서도 조사가 가능하도록 페이지가 아닌 문항 베이스로 온라인 설문이 구성된 것을 볼 수 있다. 이러한 화면 구성은 현재 조사회사에서 진행하는 온라인 조사 화면과 동일하다. 종이설문지와는 구성이 완전히 다르다. 즉 온라인 설문에 맞게 구성된 것이다.

  답은 보시다시피 명확하다. 우리나라 통계청은 온라인 설문을 종이설문지와 동일한 포맷으로 만들어야 한다는 환상(?)에서 깨어나야한다.