바야흐로 확률기반 온라인 패널의 시대를 살고 있습니다. 코로나를 지나면서 확률기반패널은 더 날개(?)룰 단 것으로 보입니다.
다만 확률기반 온라인 패널에 대한 여러 우려 중 하나인 패널 컨디셔닝 효과가 강하게 나타날 수 있는 우려에 대해서는 지금까지 딱히 증거에 기반한 논문이 없었습니다. 즉 많아봐야 1만명 내외인 패널을 구축하고 조사를 지속적으로 실시하면 조사로 인한 효과가 나타날 것 아니냐는 우려가 지속적으로 제기되었고 이에 대한 마땅한 답이 지금까지는 없었습니다.
이런 배경에서 아래 논문은 패널 컨디셔닝 우려에 대한 하나의 답이 될 수 있을 것으로 보입니다. 이 논문에서는 큰 문제 없다는 결론을 내리고 있습니다.
 |
웹서베이로 정치조사를 하면 진보 편향이 일어나고 있는 듯 하다. 액세스 패널에 가입하고 조사에 참여하는 사람들의 성향이 보수보다는 진보성향이 더 많아서 나타나는 현상으로 보인다. 사실 이러한 이유로 우리나라에서는 웹조사로 시행한 정치조사가 거의 공표되지 않고 있다.
이러한 현상은 우리나라만의 문제는 아닌 듯 하다. 미국이나 영국에서 시행하고 있는 웹조사 형태의 정치조사 방법론을 보면 이런 문제를 해결하기 위해 다양한 변수를 가중치로 활용하고 있다. 정치 관심도, 뉴스 관심도, 사회 참여도 등이 그 예이다.
그런데 미국이나 영국 웹조사의 가중치 관련 자료를 보다 보면 그것만으로는 부족했던 것인지는 몰라도 (대놓고) 정당일체감 변인도 가중치로 활용하고 있음을 알 수 있다. 미국의 대표적인 조사기관인 퓨리서치 웹조사를 보면 아래와 같이 벤치마크 소스는 달라졌더라도 정당일체감 변인을 가중 변인으로 활용하고 있다. 과거에는 최근 전화조사 3회의 평균값을 벤치마크로 활용했고, 최근에는 1년에 한 번 자체적으로 실시하는 레퍼런스 조사(ABS 방식의 우편조사)를 벤치마크로 활용했다.
우리나라에서도 웹서베이 대표성 제고를 위한 가중치 변수로 정당지지를 넣을 수 있을까?
필자 의견은 못 할 이유가 없다는 것이고, 이러한 작업 없이는 사실상 웹조사의 진보 편향을 막기란 사실상 불가능하다고 생각한다.
우리나라에서 전화면접으로 정기조사를 하는 곳은 몇 년 전까지만 한국갤럽과 NBS(엠브레인퍼블릭, 케이스탯리서치, 코리아리서치, 한국리서치) 정도였다. 두 정기조사는 대통령 국정평가나 정당지지도 등 주요 정치 지표에서 큰 차이를 보이지 않았다. (물론 시기별로 추이 등에서 차이가 나는 경우도 있었지만 크게 보면 두 조사간 차이는 크지 않았음)
그러나 '여론조사꽃'이 전화면접 정기조사를 하면서 부터는 양상이 달라졌다. 특히 정당지지도에서 여론조사꽃 결과가 한국갤럽이나 NBS와 큰 차이가 나면서 '이건 뭐지?'하는 질문이 제기되었다. 그러면서 아 '여론조사꽃'이 김어준이 하는 회사니까 민주당에 유리하게 조사를 하는 걸꺼야 라는 말이 여기저기서 나왔다.
정말 그런 이유일까? 이를 알아보기 위해 최근 세 개 조사회사의 결과를 비교해봤다. 민주당 지지율에서 여론조사꽃이 한국갤럽이나 NBS와 큰 차이를 보였다. 역시나 그런 이유인걸까 라고 넘어가려는 찰나 국정평가 결과가 눈에 들어왔다. 아래 표를 보면 알겠지만 국정평가 긍정비율은 세 개 조사회사별 차이가 거의 없다는 것을 알 수 있다.
그럼 왜? 초심으로 돌아가 질문 문항을 살펴봤다. 유레카....한국갤럽과 NBS에서는 "지지하는가" 로 묻고 있는 반면, 여론조사꽃은 "지지하거나 조금이라도 더 호감이 가는"으로 묻고 있었다. 결국 워딩의 차이가 정당지지도에 가장 큰 영향을 주는 거 같다.
<한국갤럽 정당지지도 문항>
<NBS 정당지지도 문항>
<여론조사꽃 정당지지도 문항>
우리나라는 전세계적으로 선거여론조사에서 전화조사 비중이 높은 나라이다. 거의 100%라고 해도 과언이 아니니 압도적 1위는 '따 놓은 당상'은 분명해 보인다.
그렇다면 왜 이리도 선거여론조사에서 전화조사 비중이 높은걸까? 그것은 바로 우리나라에만 있는 독특한 표집틀인 '휴대전화 가상번호' 덕분(?)이다. 휴대전화 가상번호는 국내 통신 3사가 선거여론조사에 한해 목표 표본의 30배수까지 해당 조사 지역에 거주하는 만18세이상 유권자의 휴대전화번호를 가상번호 포맷으로 제공하는 제도이다. 전화번호만 제공하지 않고 전화번호 옆에 성별, 연령대, 지역(읍면동)까지 제공해서 할당조사를 주로 하는 국내에서는 조사 과정에 큰 도움이 되었다.
(사실 어느 나라의 전화조사 표집틀을 봐도 이리도 대표성이 높은 표집틀은 없을 것이다)
그러나 완벽해 보이던 '휴대전화 가상번호' 제도에도 슬슬 허점이 보이고 있다. 소위 알뜰폰으로 빠져나가는 번호를 제공하지 못하는 점과 더불어 2020년 총선, 2022년 지방선거, 2022년 대선 등 3번의 큰 선거 이후 가상번호 제공을 거부하는 일명 '옵트 아웃' 유권자들이 증가하고 있다. 통신3사가 옵트 아웃 규모를 정확히 밝히고 있지는 않지만 상당할 것이라는 예측이 나오고 있다. 이러한 현상은 2024년 총선에서 더 심각해질 전망이다.
더 큰 문제는 '휴대전화 가상번호'로 전화조사를 함에도 불구하고 응답율이 계속 낮아진다는 점이다. 30% 이상은 우습게 찍었던 NBS조사마저도 최근에는 10%대에 머무르고 있다.
(가상번호는 아니지만 가장 오래된 한국갤럽의 정기조사 역시 최근에는 10%에도 미치지 못하고 있다.)
그렇다면 이러한 전화조사의 위기를 해결할 방법은 무엇일까? 문제는 현재로서는 없다는 것이다. 만능 치트키를 자처하던 휴대전화 가상번호 외에는 전화조사에 있어 최근 몇 년간 조사방법론 차원에서 발전이 거의 없었기 때문이다. 한 마디로 가상번호를 너무 믿었던 것이다.
휴대전화 가상번호가 전화조사에 있어 '덫'이 될 수 있다는 점은 이러한 측면에서 제기할 수 있는 전망인 것이다.
최근 우리나라 전화조사의 응답율이 계속 낮아지고 있다. 그나마 높았던 NBS나 한국갤럽의 정기조사마저도 응답율이 낮아지고 있다. 이런 상황에서 응답율을 제고할 수 있는 몇 가지 아이디어를 생각해봤다.
아래 기술할 아이디어는 기본적으로 혼합조사 모드의 일부(1-2 제외)임을 밝혀둔다. 그 밖에 가상번호로 문자를 보낼 수 있다는 가정 하에 기술하였다.
아이디어1-1: 표집틀인 가상번호로 조사 안내 문자를 보낸다. 그 후에 조사원이 전화를 걸어 전화면접을 실시한다. 3회 이상 전화를 해도 받지 않는 번호에 대해 조사 참여 url이 포함된 문자를 재전송한다.
아이디어1-2: 표집틀인 가상번호로 조사 안내 문자를 보낸다. 그 후에 조사원이 전화를 걸어 전화면접을 실시한다. 3회 이상 전화를 해도 받지 않는 번호에 대해 조사 참여 문자를 다시 보낸 후 조사원이 다시 한번 전화를 걸어 전화면접을 실시한다.
아이디어2: 표집틀인 가상번호로 조사 안내 문자와 함께 조사 참여 url을 보낸다. url을 통해 웹조사를 먼저 진행하고 남은 할당에 대해 조사원이 전화를 걸어 전화면접을 실시한다.
총오차(Total Survey Error) 개념으로 접근해 볼 때, 혼합조사(Mixed-Mode Survey)는 측정오차와 관련해서는 손해를 보지만, 대표성 오차와 관련해서는 이익을 보는 일종의 '트레이드오프(trade off)' 상황을 전제한 것이다. 즉 모드효과 등으로 대표되는 측정 오차가 있음에도 그 오차가 선택편의(selection bias) 등으로 대표되는 표집 오차보다는 크지 않다는 전제에서 혼합조사를 시행한다는 이야기이다.
