메소드서베이

  샤이보수 현상을 적극적으로 이용한 곳은 ARS 업체였다. 후보지지도나 정당지지도에서 전화면접조사 결과가 무응답이 많이 나온 반면, ARS 조사에서는 훨씬 적었기 때문이다.    ARS 업체 측의 논리는 이렇다. 후보지지도나 정당지지도와 같이 민감한 정치적 질문에 대해 일명 샤이한 보수들이 조사에 참여하지 않았거나 조사에 참여하더라도 해당 문항에 대해 없다거나 모르겠다는 응답을 했다는 것이다. 즉 전화면접에 비해 ARS 조사는 사람(면접원)과 이야기하는 것이 아니기 때문에 조사를 거절할 이유도 상대적으로 적고, 조사에 참여해서도 본인의 마음을 솔직하게 이야기할 개연성이 높다는 것이다.   이에 대해 ARS 조사를 공식적인 선거보도용 조사에 활용해서는 안된다는 입장을 지닌 한국조사협회(KORA)의 논리적인 반박은 없었다. 아마도 ARS 조사는 비과학적 조사이므로 비과학적인 조사를 하는 ARS 업체들이 하는 이야기에 대해 굳이 반박하고 싶지 않았을 것이다. 그러나 필자가 볼 때는 ARS 업체의 주장이 일반국민이 들었을 때는 상당히 논리적으로 들릴 수 있고, 이에 대한 구체적인 반박을 해야한다고 생각한다.   결론적으로 샤이보수 측면에서 ARS가 전화면접조사보다 우월한지에 대한 과학적인 근거는 없다. 이러한 측면에서 ARS 측에서도 단순히 선거 결과(후보 득표율)를 가지고 ARS 조사가 전화면접보다 오차가 적다는 주장은 멈춰야한다. 여론조사는 목표모집단이 투표를 하지 않는 유권자까지를 포함하지만 후보 득표율의 모집단은 투표자이다. 직접적으로 비교하는 것 자체가 넌센스다.

  어제 블로그글(샤이보수 현상은 총오차 중 어디에 해당할까?)에서 샤이보수 현상은 무응답 에러 중에서도 단위 무응답에 속한다고 이야기하였다. 그러나 과연 그것만 있을까?   우선 아래 두 개 표를 분석해보자. 첫 번째 표는 6월 2일부터 5일까지 한국리서치에서 전화면접으로 조사한 경남도지사 후보 지지도 결과이고, 두 번째는 6월 5일부터 6일까지 리얼미터에서 임의걸기로 조사한 경남도지사 후보 지지도 결과이다.   두 조사 결과에서 가장 큰 차이는 지지하는 후보가 없다와 모르겠다는 비율이다. 전화면접 결과는 27.4%인 반면, 임의걸기에서는 5.8%이다. 그 차이가 무려 20%포인트가 넘는다. 이런 결과를 놓고 보면 샤이보수 현상은 단위 무응답 뿐만 아니라 항목 무응답에서도 발생하는 걸 알 수 있다.   즉 샤이보수 현상은 단위무응답과 항목무응답에서 모두 기인하는 것이다. 어떤 것이 더 큰지 현재로서 알 수는 없다.   또 한가지 이야기할 수 있는 것은 측정 에러이다. 이는 항목 무응답과도 연관되는 이야기인데 중앙선관위에서 법적으로 지지도 문항 구성 시 항목에 지지하는 후보가 없다와 모르겠다를 강제함으로써 전화면접에서 이와 관련한 비율이 높아진 개연성이 분명히 있다.

  이번 6.13 지방선거 관련 여론조사와 관련한 뜨건운 감자는 '샤이보수' 현상이다. 한마디로 보수적인 유권자들이 여론조사에 과소 대표된다는 것이다. 그렇다면 샤이보수 현상은 여론조사의 오차 중 도대체 어디에 해당하는걸까?   우리가 보통 이야기하는 여론조사는 표본조사이기 때문에 오차라는 것이 필수적으로 생길 수 밖에 없다. 오차는 실제 참값과 표본으로 뽑힌 값간의 차이로 그 차이는 여러 요인으로 발생한다. 발생한 모든 오차의 합을 총조사오차라고 한다.   총조사오차는 아래 그림과 같이 크게는 두 개의 갈래로 발생한다. 하나는 측정 차원이고 다른 하나는 대표성 차원이다. 측정 차원의 오차는 1. 타당성(Validity) 2. 측정 에러(Measurement Error) 3. 처리 에러(Processing Error)로 구성되어 있고, 대표성 차원의 오차는 1. 커버리지 에러(Coverage Error) 2. 샘플링 에러(Sampling Error) 3. 무응답 에러(Nonresponse Error)로 구성되어 있다.   그렇다면 샤이보수 현상은 6가지 에러 유형 중에 어디에 속할까? 정답은 무응답 에러(Nonresponse Error)이다. 무응답 에러는 세부적으로 단위 무응답과 항목 무응답으로 나뉜다. 단위 무응답은 응답에 참여하지 않는 것을 의미하고 항목 무응답은 특정 문항에 응답하지 않는 것을 의미한다. 샤이보수 현상은 무응답 에러 중에도 단위 무응답에 속한다.