ARS와 전화면접 방식의 차이 어떻게 이해해야할까?

심심하면 나오는 ARS와 전화면접간의 결과 차이 기사...매번 나오지만 결론은 비슷하다. 결국 조사방식의 차이가 문제라는 것이다. 근데 이런 기사는 결국 돈을 덜 들이고 조사한 ARS조사에 이득이 될 수 밖에 없다. 그래서 조금 더 분석적으로 접근해보겠다.

할당조사에서 정확성(대표성)은 다음 세 가지 기준을 얼마나 지키느냐에 달려있다.

1. sampling frame
2. self-selecting sample
3. convenience sample

우선 1번 문제는 ARS나 전화면접조사나 유무선 RDD를 활용하니 별 차이가 없다고 본다.

다음으로 self-selecting sample 문제인데 ARS가 전화면접조사에 비해 훨씬 많은 사람들에게 컨택을 하기 때문에(협조율이 ARS가 더 낮으므로) 이 문제에 상대적으로 취약할 가능성이 크다.

마지막으로 convenience sample 문제는 보통 면접원의 편의에 의해 발생한다는 점에서 전화면접조사가 ARS에 비해 취약할 수 있다.

핵심은 2번 self-selecting sample과 3번 convenience sample 문제가 얼마나 바이어스가 발생하여 조사에 영향을 미치는지이다.

내 생각엔 2번 self-selecting sample 영향으로 한국당의 지지율 차이가 발생하는 것 같다. 물론 3번 convenience sample 문제가 전혀 없는 건 아니지만 전화면접은 대면면접에 비해 면접원의 편의 바이어스가 상대적으로 적기 때문이다.
(전화면접실에는 감청도 하고 수퍼바이저가 실시간으로 전화면접원을 감시하는 체제이므로 면접원이 무작정 편하게 응답자를 선정하기 쉽지 않다)

이 문제 외에도 ARS 업체에서 지속적으로 주장하는 일종의 면접원에 의한 '샤이' 바이어스도 있을 수 있다. 그러나 그것은 근본적이라기 보다는 부차적이라고 본다.