전화면접 대 ARS, 20년 전쟁의 전말

 

전화면접 대 ARS, 20년 전쟁의 전말

한국 여론조사 업계가 방법론 연구 대신 선택한 것

2014년 7월 14일, 한국조사협회(KORA)는 41개 회원사 명의로 결의문을 발표했다. "ARS 여론조사를 수행하지 않겠다." 나아가 언론에도 ARS 조사 결과를 보도하지 말 것을 권고했다. 비과학적이라는 이유였다.

9년 뒤인 2023년 10월, 한국조사협회는 다시 한번 같은 선언을 했다. 이번에는 34개 회원사 명의로 '정치선거 전화여론조사기준'을 제정하며, ARS를 "과학적인 조사 방법이 아닐 뿐만 아니라 통신 환경마저 훼손하는 바람직하지 않은 방식"이라고 규정했다.

같은 주장을 9년 만에 한 번 더 해야 했다는 것은, 2014년의 선언이 작동하지 않았다는 뜻이다.

ARS는 어떻게 한국 선거조사 시장을 장악했는가

ARS 조사기관은 1990년대 선거기획사에서 독립한 소규모 업체들로 시작했다. 2000년대 초반 5곳 안팎이던 것이 한때 70여 곳까지 폭발적으로 늘었다. 이유는 단순하다. 싸고 빠르다.

전화면접은 면접원을 고용하고, 교육하고, 관리해야 한다. 조사비는 크게 오르지 않는데 인건비는 계속 올랐다. ARS는 녹음된 음성과 자동 발신 장비만 있으면 된다. 노트북 한 대로 30㎡ 오피스텔에서 운영할 수 있다. 전화면접 대비 비용이 3분의 1에서 4분의 1 수준이다.

정치권은 이 가격에 반응했다. 후보자 개인이, 소규모 정당이, 인터넷 언론사가 여론조사를 의뢰할 수 있게 됐다. 2022년 지방선거 기준, 전체 여론조사의 77.7%가 ARS였다. ARS가 시장을 장악한 것이 아니라, 시장이 ARS를 선택한 것이다.

"미국에서도 퇴출된 방식" — 그 비교는 정확한가

한국조사협회와 학계가 ARS를 비판할 때 자주 동원한 레퍼런스가 있다. "미국에서도 ARS(IVR)는 퇴출됐다"는 것이다. 사실 관계만 놓고 보면 틀린 말은 아니다. 미국에서 IVR 여론조사는 사실상 소멸했다. 그러나 퇴출의 이유가 다르다.

미국에는 1991년에 제정된 TCPA(Telephone Consumer Protection Act)라는 법이 있다. 이 법은 사전 동의 없이 휴대전화에 자동 다이얼러(autodialer)로 전화를 거는 것을 금지한다. 여론조사도 예외가 아니다. 면접원이 휴대전화에 전화를 걸려면 번호를 일일이 손으로 눌러야 한다. 자동 발신이 허용되는 건 유선전화뿐이다.

미국의 IVR 조사기관들은 유선전화에서만 자동 발신으로 조사를 돌릴 수 있었다. 유선전화 보급률이 급감하면서 커버리지가 무너졌고, IVR은 자연스럽게 퇴조했다. Rasmussen Reports 같은 대표적 IVR 업체는 유선전화 IVR에 온라인 패널을 결합하는 하이브리드 방식으로 전환했다.

한국은 상황이 완전히 다르다. 한국에서는 공표용 여론조사로 등록하면 전화면접이든 ARS든 관계없이 가상번호를 제공받을 수 있고, 자동 다이얼링으로 휴대전화에 얼마든지 발신할 수 있다. 법적 제약이 없다. 따라서 미국에서 IVR이 퇴출된 구조적 원인 — 휴대전화 자동 발신 금지로 인한 커버리지 붕괴 — 이 한국에는 존재하지 않는다.

"미국에서도 퇴출됐다"는 말은 사실이지만, 퇴출 사유가 다른 두 나라를 하나의 결론으로 묶는 것은 정확한 비교가 아니다.

규제가 인증이 되는 역설

한국조사협회가 ARS를 퇴출하려 했던 시기에, 한국의 제도 환경은 오히려 ARS를 공인하는 방향으로 움직였다.

중앙선거여론조사심의위원회(여심위)가 만들어지고, 여론조사기관 등록 체계가 정비됐다. ARS 조사기관도 여심위에 등록할 수 있었다. 가상번호(안심번호) 제도가 도입됐을 때, ARS 기관도 동일하게 가상번호를 발급받을 수 있었다. 등록하고, 번호를 받고, 조사 결과를 공표하는 절차에서 전화면접과 ARS 사이에 제도적 차별은 없었다.

ARS를 비과학적이라고 선언한 것은 한국조사협회였지만, 제도는 ARS를 과학적 여론조사와 동일한 자격으로 인정했다. 규제 체계가 의도치 않게 ARS에 정당성을 부여한 것이다. 퇴출하려 했는데 인증이 된 셈이다.

20년 동안 놓친 것들

내가 이 글에서 말하고 싶은 것은 ARS가 좋다거나 나쁘다는 판단이 아니다. ARS에는 분명한 한계가 있다. 응답자의 성별과 연령을 확인할 수 없고, 응답률이 낮아 정치 고관여층이 과대 대표되며, 문항 수와 질문 방식에 제약이 크다. 자동응답이라는 조사 방식의 구조적 특성에서 오는 문제들이고, 이것은 부정하기 어렵다.

그러나 한국 조사업계를 대표하는 기관이 20~30년의 시간을 이 싸움에 집중한 것은 다른 문제다.

그 시간 동안 세계 조사업계에서는 많은 일이 벌어졌다. 온라인 패널 조사가 주류로 올라섰다. 모바일웹 조사가 등장했다. 혼합모드(mixed-mode) 설계가 표준이 되어갔다. 비확률 표본의 보정 방법론이 발전했다. 응답률 하락이라는 전 세계적 현상에 대한 대응 연구가 쏟아졌다. 그리고 지금은 합성 응답자(synthetic respondent)까지 논의되고 있다.

한국조사협회가 ARS 퇴출에 에너지를 쏟는 동안, 이 방법론적 변화들에 대한 업계 차원의 체계적 연구와 대응은 상대적으로 부족했다. 전화면접이라는 기존 방식을 지키기 위해 ARS라는 적을 만드는 데 집중했지, 전화면접 자체의 한계를 인정하고 대안적 방법론을 탐색하는 데는 같은 수준의 열정을 보이지 않았다.

전화면접도 응답률이 하락하고 있다. 전화면접도 정치 고관여층 편향에서 자유롭지 않다. 전화면접도 젊은 층에 대한 접근성이 떨어진다. 이것은 ARS의 문제가 아니라 전화조사 전체의 구조적 문제다. ARS를 없앤다고 해결되는 문제가 아니었다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

5점 척도 분석 시 (환산) 평균값이 최상일까?

이미지
 중간 보기가 없는 2점이나 4점의 경우는 긍정비율(찬성, 만족 등)을 가지고 주로 분석을 한다. 그러나 중간 보기가 있는 3점이나 (특히) 5점의 경우 긍정비율보다는 평균값(3점 or 5점 만점, 아니면 이를 100점으로 환산)을 많이 활용한다. 왜 일까? 아마도 중간 보기의 해석이 어려워서일거다.  그러나 최근에 통계청 2018 사회조사 결과를 보면서 5점 척도의 경우 평균값을 활용하지 않는다는 것을 알게 되었다. 심지어 평균값 자체를 산출하지 않는다고 했다. 척도 간 등간성이 확실하지 않은 상황에서 평균을 내는 것은 결과치를 왜곡할 수 있다는 이유에서였다. 물론 1점에서 5점 사이의 주관식 값으로 응답을 받은 거라면 평균을 낼 것이라고 했다. (이 기회에 저의 취재(?)를 응해주신 사회조사 담당 통계청 직원분께 감사의 말씀을...^^)  사실 10여년 간 5점 척도를 활용한 문항을 분석할 때 비율을 쓸지 평균을 쓸지 고민을 많이 했었다. 물론 선배 리서처들의 보고서에서 대부분 평균을 활용했길래 그걸 따라했었다. 그러나 오늘부터는 평균과 이별해야겠다.
자세한 내용 보기

이중차분법(DID)과 평행추세가정: 횡단 데이터로 정책 효과 측정하기

  서론: 시간의 흐름 속 ‘스냅샷’으로 정책 효과 측정하기, 횡단조사와 이중차분법(DID) 어떤 정책이 시행된 후, 그 효과를 과학적으로 측정하고 싶다고 가정해 봅시다. 가장 이상적인 방법은 정책의 영향을 받은 사람들과 받지 않은 사람들을 수년간 추적하는 종단조사(패널조사)를 실시하는 것입니다. 하지만 이는 막대한 비용과 시간이 소요되어 현실적으로 불가능한 경우가 많습니다. 그렇다면 우리에게 주어진 것이 특정 정책 시행 **‘전(before)’**과 **‘후(after)’**에 각각 실시된, 서로 다른 사람들을 대상으로 한 두 번의 횡단 웹서베이 데이터뿐이라면 어떨까요? 마치 특정 장소의 풍경을 다른 시간대에 찍은 두 장의 ‘스냅샷 사진’만 가지고 그곳에서 일어난 ‘변화의 원인’을 추론해야 하는 상황과 같습니다. 바로 이러한 제약 속에서 정책의 순수한 효과를 분리해내는 통계적 현미경이 바로 ‘이중차분법(DID)’입니다. 1. 분석을 위한 준비물: 필요한 데이터의 구조와 요건 횡단조사 데이터로 DID 분석을 수행하기 위해서는, 단순히 두 시점의 데이터가 있는 것만으로는 부족합니다. 다음과 같은 데이터 구조가 반드시 필요합니다. 두 개 이상의 횡단조사 데이터 : 정책 시행 전 과 후 , 최소 두 번의 조사가 필요합니다. 물론, 정책 시행 전 여러 시점의 데이터가 있다면 분석의 신뢰도는 훨씬 더 높아집니다. 동일한 표집틀과 모집단 : 각 시점의 조사는 동일한 모집단(예: 대한민국 성인)을 대상으로, 일관된 표집틀(예: 휴대전화 가상번호)을 사용하여 수행되어야 합니다. 처치집단(Treatment Group)과 통제집단(Control Group)의 구분 : 조사 데이터 내에, 정책의 영향을 받은 ‘처치집단’과 받지 않은 ‘통제집단’을 명확하게 구분할 수 있는 변수가 있어야 합니다. 예를 들어, ‘서울시’에만 특정 청년수당 정책이 도입되었다면, ‘거주 지역’ 변수를 통해 서울 거주자는 처치집단, 그 외 지역 거주자는 통제집단으로 나눌 수 있습니다. 일관된 결과변...
자세한 내용 보기

선거 여론조사 가중치 분석: 셀 가중 vs 림 가중, 무엇이 더 나은가?

  서론: 표본을 ‘유권자 전체’로 만드는 마법, 가중치와 두 가지 해법 선거여론조사는 보통 1,000여 명의 표본을 통해 수천만 명에 달하는 전체 유권자의 민심을 추정하는 작업입니다. 하지만 우리가 무작위로 추출한 1,000명의 인구통계학적 특성(성별, 연령, 지역 등)은 실제 유권자 전체의 구성비와 정확히 일치하지 않을 가능성이 높습니다. 예를 들어, 조사에 더 적극적인 60대 이상 응답자가 20대 응답자보다 더 많이 표집될 수 있습니다. 이때, 각 응답자에게 특정 ‘가중값’을 부여하여, 표본 내 각 그룹의 비율을 실제 유권자 비율과 동일하게 인위적으로 조정하는 과정을 **‘가중치 부여(Weighting)’**라고 합니다. 이는 마치 사진의 색감을 실제 풍경과 똑같이 맞추는 ‘색 보정’ 작업과 같습니다. 이 중요한 보정 작업을 수행하는 대표적인 두 가지 기법이 바로 셀 가중과 림 가중이며, 두 기법은 서로 다른 철학과 장단점을 가집니다. 1. 가장 직관적인 저울, 셀 가중(Cell Weighting)의 원리와 한계 셀 가중은 가장 이해하기 쉽고 직관적인 가중치 부여 방식입니다. 가중치를 부여하려는 모든 변수들을 동시에 교차시켜 다차원의 ‘셀(Cell)’을 만들고, 각 셀의 표본 비율을 모집단 비율과 일치시키는 방법입니다. 원리 : 한국 선거조사의 표준인 ‘성별-연령-지역’ 3가지 변수로 가중치를 준다고 가정해 봅시다. 셀 가중은 이 3가지 변수를 모두 결합한 ‘남자-20대-서울’, ‘여자-50대-경기/인천’과 같은 매우 구체적인 셀을 만듭니다. 그리고 각 셀마다 [실제 유권자 구성비(%)] / [표본 내 구성비(%)] 공식을 적용하여 가중값을 계산합니다. 예를 들어, 실제 ‘남자-20대-서울’ 유권자가 전체의 3%인데, 우리 표본에서는 2%만 차지했다면, 이 셀에 속한 모든 응답자에게는 3 / 2 = 1.5 의 가중치가 부여됩니다. 장점 : 원리가 명확하고, 각 셀의 인구 구성비를 정확히 알고 있으며, 셀마다 충분한 표본 수가 확보된다면 이론적으로...
자세한 내용 보기