선거가 다가오면 어김없이 반복되는 논쟁이 있다. ARS 조사가 전화면접보다 실제 득표율에 더 가깝다는 주장이다. 리얼미터 등 19개사가 속한 한국정치조사협회는 "각 당 싱크탱크도 ARS를 선호할 정도로 결과는 ARS가 더 정확하다"고 말하고, 한국갤럽 등 34개사가 가입한 한국조사협회는 정반대로 ARS 퇴출을 결의한다. 같은 데이터를 두고 두 진영이 평행선을 달린다.
학술적 검증은 어땠을까. 2017년 19대 대선 직후 중앙선거여론조사심의위원회가 대한정치학회에 의뢰한 종합 비교 분석은 두 방식 중 어느 쪽이 더 정확하고 신뢰할 만하다는 근거를 찾을 수 없다는 결론으로 마무리되었다. 2022년 20대 대선에서 ARS 일부 조사가 윤석열 우위를 더 빨리 잡아낸 사례가 있었지만, 22대 총선과 2025년 조기 대선에서는 거꾸로 ARS 다수 조사의 부정확성이 도마에 올랐다. 선거별로 결과가 엇갈리고, 같은 선거에서도 어떤 변수를 통제하느냐에 따라 우열이 뒤집힌다.
ARS가 득표율과 비슷해 보이는 데에는 측정 자체와 무관한 구조적 이유가 있다. 분모 효과다.
선거 결과는 무효표와 기권을 제외한 유효투표 100%를 기준으로 후보별 비율이 산출된다. 모름이나 미결정이 들어갈 자리가 없다. 반면 여론조사는 부동층 응답이 분모에 포함된다. 그런데 ARS는 응답자 단계에서 이미 정치 고관여층이 자기선택으로 걸러져 들어오는 방식이다. 부동층 비율이 한 자릿수에 머무르는 일이 흔하다. 2021년 12월 한 달간 진행된 무선 ARS 조사의 부동층은 9.1%였던 반면, 무선 전화면접에서는 21.5%로 두 배 이상이었다. ARS는 사실상 "결심한 사람들끼리의 비율"에 가까운 분포가 만들어지고, 이 값이 결심한 유권자만 집계된 득표율과 같은 자릿수에서 비교되니 비슷해 보이는 것이 당연하다.
전화면접의 부동층 21.5%를 결정 응답자에게 비례배분하거나 확정지지율로 다시 계산해 비교하면 두 방식의 격차는 상당 부분 사라진다. 사후 분석에서 반복적으로 확인되어 온 사실이다.
학술적으로 여론조사 정확도를 평가할 때 Mosteller 측정법, 특히 method 3과 5, 또는 Martin–Traugott–Kennedy의 A 통계 같은 지표를 쓰는 이유가 여기에 있다. 미결정 응답을 제외하고 후보 간 격차의 부호와 크기만 비교한다. 분모를 맞춰서 비교한다는 의미다. 이렇게 보정한 지표로 다시 계산하면 ARS의 우위는 사라지거나 오히려 역전되는 사례가 적지 않다.
ARS가 득표율과 비슷해 보이는 인상은 추정량의 우수성에서 오는 것이 아니다. 무응답 처리 방식과 응답자 자기선택이 결합해 만들어내는 표면적 일치다. 이를 모집단 대표성의 근거로 가져다 쓰는 것은 측정 척도의 차이를 정확도의 차이로 오독하는 일이다. 보수층 샤이 표심을 더 잘 잡는다는 식의 사후 해석도 표본 편향의 방향이 우연히 결과와 맞아떨어진 것을 사후적으로 합리화하는 서사에 가깝다.
분모를 보정하면 사라지는 우위를 두고, 분모를 보정하지 않은 채 "결과가 맞았다"는 사후 평가만 반복되는 한 이 논쟁은 끝나지 않는다.
