휴대전화 가상번호라는 '덫'

   우리나라는 전세계적으로 선거여론조사에서 전화조사 비중이 높은 나라이다. 거의 100%라고 해도 과언이 아니니 압도적 1위는 '따 놓은 당상'은 분명해 보인다.

  그렇다면 왜 이리도 선거여론조사에서 전화조사 비중이 높은걸까? 그것은 바로 우리나라에만 있는 독특한 표집틀인 '휴대전화 가상번호' 덕분(?)이다. 휴대전화 가상번호는 국내 통신 3사가 선거여론조사에 한해 목표 표본의 30배수까지 해당 조사 지역에 거주하는 만18세이상 유권자의 휴대전화번호를 가상번호 포맷으로 제공하는 제도이다. 전화번호만 제공하지 않고 전화번호 옆에 성별, 연령대, 지역(읍면동)까지 제공해서 할당조사를 주로 하는 국내에서는 조사 과정에 큰 도움이 되었다.

(사실 어느 나라의 전화조사 표집틀을 봐도 이리도 대표성이 높은 표집틀은 없을 것이다)

  그러나 완벽해 보이던 '휴대전화 가상번호' 제도에도 슬슬 허점이 보이고 있다. 소위 알뜰폰으로 빠져나가는 번호를 제공하지 못하는 점과 더불어 2020년 총선, 2022년 지방선거, 2022년 대선 등 3번의 큰 선거 이후 가상번호 제공을 거부하는 일명 '옵트 아웃' 유권자들이 증가하고 있다. 통신3사가 옵트 아웃 규모를 정확히 밝히고 있지는 않지만 상당할 것이라는 예측이 나오고 있다. 이러한 현상은 2024년 총선에서 더 심각해질 전망이다.

  더 큰 문제는 '휴대전화 가상번호'로 전화조사를 함에도 불구하고 응답율이 계속 낮아진다는 점이다. 30% 이상은 우습게 찍었던 NBS조사마저도 최근에는 10%대에 머무르고 있다. 

(가상번호는 아니지만 가장 오래된 한국갤럽의 정기조사 역시 최근에는 10%에도 미치지 못하고 있다.)  

  그렇다면 이러한 전화조사의 위기를 해결할 방법은 무엇일까? 문제는 현재로서는 없다는 것이다. 만능 치트키를 자처하던 휴대전화 가상번호 외에는 전화조사에 있어 최근 몇 년간 조사방법론 차원에서 발전이 거의 없었기 때문이다. 한 마디로 가상번호를 너무 믿었던 것이다.

  휴대전화 가상번호가 전화조사에 있어 '덫'이 될 수 있다는 점은 이러한 측면에서 제기할 수 있는 전망인 것이다.

  

떨어지고 있는 전화조사 응답율을 올릴 수 있는 몇 가지 아이디어

   최근 우리나라 전화조사의 응답율이 계속 낮아지고 있다. 그나마 높았던 NBS나 한국갤럽의 정기조사마저도 응답율이 낮아지고 있다. 이런 상황에서 응답율을 제고할 수 있는 몇 가지 아이디어를 생각해봤다.

  아래 기술할 아이디어는 기본적으로 혼합조사 모드의 일부(1-2 제외)임을 밝혀둔다. 그 밖에 가상번호로 문자를 보낼 수 있다는 가정 하에 기술하였다.

아이디어1-1: 표집틀인 가상번호로 조사 안내 문자를 보낸다. 그 후에 조사원이 전화를 걸어 전화면접을 실시한다. 3회 이상 전화를 해도 받지 않는 번호에 대해 조사 참여 url이 포함된 문자를 재전송한다.

아이디어1-2: 표집틀인 가상번호로 조사 안내 문자를 보낸다. 그 후에 조사원이 전화를 걸어 전화면접을 실시한다. 3회 이상 전화를 해도 받지 않는 번호에 대해 조사 참여 문자를 다시 보낸 후 조사원이 다시 한번 전화를 걸어 전화면접을 실시한다.

아이디어2: 표집틀인 가상번호로 조사 안내 문자와 함께 조사 참여 url을 보낸다. url을 통해 웹조사를 먼저 진행하고 남은 할당에 대해 조사원이 전화를 걸어 전화면접을 실시한다.

혼합조사(Mixed-Mode Survey)에서 총오차(Total Survey Error)

   총오차(Total Survey Error) 개념으로 접근해 볼 때, 혼합조사(Mixed-Mode Survey)는 측정오차와 관련해서는 손해를 보지만, 대표성 오차와 관련해서는 이익을 보는 일종의 '트레이드오프(trade off)' 상황을 전제한 것이다. 즉 모드효과 등으로 대표되는 측정 오차가 있음에도 그 오차가 선택편의(selection bias) 등으로 대표되는 표집 오차보다는 크지 않다는 전제에서 혼합조사를 시행한다는 이야기이다.  

여론조사에서 '필요하다'의 마법(?)

   우리나라 여론조사에서 유독 많이 활용되는 단어가 있는데...그것은 '필요하다(반대로 필요하지 않다)'이다...그러나 설문지에서 이 단어를 활용하는 것에 대해서는 조심할 필요가 있어 보인다...

  두 가지 설문과 그 결과로 예를 들어 설명해보겠다.

  우선 아래 조사는 MBC-코리아리서치가 지난 9월 7,8일 실시한 여론조사 중 김건희 여사 특검 관련한 문항인데...'필요한지 필요하지 않은지'로 물어보았다. 결과는 필요하다 62.7%였다.

  다음은 비슷한 시기에 SBS-넥스트리서치가 실시한 여론조사(9월 8,9일 실시)로 MBC와는 달리 필요여부로 묻지 않고 적절한지 여부로 물어보았다. 적절하다는 응답은 55% 였다.

  비슷한 시기에 MBC와 SBS가 실시한 여론조사 모두 김건희 여사 특검과 관련한 조사를 하였고, 두 조사 모두 특검을 해야한다는 의견이 과반을 넘었지만 그 강도는 매우 다르다. MBC는 60%를 넘은 반면, SBS 조사에서는 과반을 약간 넘은 정도다.

  그렇다면 이러한 차이는 왜 발생한 것인가? 예상대로 질문과 보기의 차이 때문일 것이다. 그러나 여기에는 '필요하다'의 마법(?)이 발동했다는 게 필자의 생각이다. 세상에 필요 없는 게 과연 얼마나 있을까? 왠만하면 필요한 거 아닐까?

  그래서 결론은 대립되는 이슈를 물을 때 '필요한지 여부'로 물어보는 것에 대해서 다시 한 번 생각해 볼 필요가 있다는 것이다. 왜냐하면 왠만하면 '필요하다'는 보기가 더 많이 나올 확률이 높기 때문이다...

  마지막으로 미국에서 총기 소유와 관련하여 아래와 같이 필요 여부로 문항을 만든다면 어떤 평가를 받을까?

  "귀하께서는 개인이 총기를 소유하는 것이 필요하다고 생각하십니까? 아니면 필요하지 않다고 생각하십니까?"

우리나라 통계청 온라인조사 설문의 문제점은?

  우리나라 통계청의 온라인조사 설문의 문제점은 무엇일까? 그것은 바로 어떤 조사던 상관없이 종이설문지 포맷과 최대한 비슷하게 프로그래밍 한다는데 있다.

  아래 온라인조사 화면은 5년마다 시행하는 공무원총조사의 온라인 조사 화면이다. 보시다시피 종이설문지와 거의 동일하다는 것을 알 수 있다. 

  이게 왜 문제일까? 종이설문지와 동일하니 측정에 있어 모드효과를 최소화할 수 있어 좋은 거 아니야 하는 분들이 있을 수 있다. 물론 맞는 말이다. 그러나 측정에 있어 모드효과에 너무 집착한 나머지 여러가지 문제가 있다는 걸 간과한 거 같다. 

  무엇이 문제인가? 가장 큰 문제는 이러한 온라인 설문 포맷으로는 스마트폰 조사를 할 수 없다는 데 있다. 두 번째로는 프로그램이 상당히 무거워지면서 전체적으로 느리다. 이러한 문제로 인해 온라인조사에 접속했다가 조사를 끝까지 못하는 현상이 자주 발생한다.

(통계청에서 하는 조사 온라인으로 접속해서 한 번만 해보면 이 문제는 누구나 알 수 있다)

  그렇다면 해외는 어떨까? 대표적으로 미국의 ACS 조사를 보면 스마트폰에서도 조사가 가능하도록 페이지가 아닌 문항 베이스로 온라인 설문이 구성된 것을 볼 수 있다. 이러한 화면 구성은 현재 조사회사에서 진행하는 온라인 조사 화면과 동일하다. 종이설문지와는 구성이 완전히 다르다. 즉 온라인 설문에 맞게 구성된 것이다.

  답은 보시다시피 명확하다. 우리나라 통계청은 온라인 설문을 종이설문지와 동일한 포맷으로 만들어야 한다는 환상(?)에서 깨어나야한다.

DIY 웹조사가 판치는 세상에서 내 조사 품질을 올리는 방법은?

  내 조사의 품질을 올린다는 것은 무엇을 의미할까? 어려운 질문처럼 느껴지지만 답은 의외로 명확한데 조사 과정에서 발생하는 소위 네 가지 정도의 에러를 최소화하는 것이다. 네 가지 중 세가지는 대표성과 관련한 것이고, 나머지 하나는 측정과 관련한 것이다.

<대표성 관련 에러>

1. Coverage Error

2. Sampling Error

3. Nonresponse Error

<측정 관련 에러>

4. Measurment Error

  

  최근 서베이 시장은 퀵하고 상대적으로 저렴한 DIY 웹서베이가 대세가 되었다. DIY 웹서베이는 설문은 의뢰하는 사람(즉 고객)이 만들고, 조사는 대규모 패널을 보유한 조사회사가 대행해주는 서비스를 말한다.

  여기서 잠깐.........................................................이러한 서비스 구조에서 고객은 대표성과 관련한 세 가지 에러(Coverage Error, Sampling Error, Nonresponse Error)와 관련하여 개입이 가능할까? 답은 명확하다. 절대 개입할 수 없다. 패널을 보유한 조사회사가 해주는대로 할 뿐이다.

  그렇다면 측정 관련한 에러(Measurment Error)는 어떠한가? 이 부분은 오롯이 고객 스스로가 책임져야한다. 즉 좋은 설문지를 만든다면(좋은 질문과 보기를 만든다면) 측정 에러의 대부분은 줄일 수 있다.

  답은 나왔다.

  DIY 웹조사가 판치는 세상에서 내 조사 품질을 올리려면?

  설문지를 잘 만들어야한다는 것이다. 그냥 만들면 안된다. 잘 만들어야한다.

    

푸시웹서베이(push-to-web survey)를 우리나라에서 활성화시킬 수 있을까?

  해외 특히 미국에서는 푸시웹조사(push-to-web survey)가 대세가 되어가고 있다. 전화조사의 몰락(?)이 이러한 현상을 부추겼다고 할 수 있다.

  푸시웹조사란 무엇인가? 아래는 구글에서 푸시웹조사를 검색했을 때 나타나는 정의이다. 오프라인을 통해 응답자에게 1차적으로 접근하여 웹조사를 하도록 만드는 조사라고 하는 편이 가장 보편적인 정의일 것이다.

What is a push to web survey?

A push-to-web survey is a quantitative data collection method in which offline contact modes are used to encourage sample members to go online and complete a web questionnaire. 

  핵심은 1차 접근을 어떻게 할 것이냐인데, 미국이나 유럽의 경우 일반적으로 우편(정확히는 우체국 등기)으로 1차 접근을 시도한다. 우편으로 하는 이유는 이것이 비용적으로나 시간적으로 가장 합리적인 수단이기 때문이다. 우편을 통해 인사말과 웹설문 참여 안내문을 보내고(대부분 5달러 내외의 돈을 동봉), 이후에 전화나 방문 등을 통해 조사한다. 즉 주 방법이 웹조사가 되는 것이고, 이에 응하지 않은 응답자의 경우에 웹조사가 아닌 방식으로 조사하는 것이다. 믹스모드 조사라고 불리는 최근의 방법의 대다수는 이 방식을 의미한다고 해도 과언이 아니다.

  그렇다면 우리나라는 어떨까? 결론적으로 말하면 우리나라는 현재 푸시웹조사 측면에서는 완전히 '걸음마' 단계이다. 웹환경이 어느 나라보다 발달한 우리나라에서 왜 푸시웹조사가 걸음마 단계일까? 그것은 우편조사가 거의 불가한 환경에 그 원인이 있다. 우리나라는 표집틀의 문제로 인해 우편조사가 '거의' 불가능하다. 통계청에서 제공하는 표집틀인 조사구에서 제공하는 정보가 요도와 주소만 있고 가구주 이름이나 전화번호가 없기 때문에 우편조사가 불가능하다. 물론 조사구 주소로 '세대주님' 혹은 '가구주님' 하고 보낼 수는 있지만 스팸 우편 같아 보여 이 우편이 가구 내 응답자에게 도달할 확률이 극히 낮다. 상황이 이러하다보니 웹설문을 안내하기 위해 조사원이 방문해야하는 아주 희안한 상황이 발생한다. 이러한 상황은 현재 통계청 조사에서 발생하고 있는데, 웹조사 비율을 늘리기 위해 궁여지책으로 하고 있는 듯 하다. ㅋㅋㅋ

  여기서 드는 의문 하나는 그렇다면 우리나라에서 푸시웹서베이는 불가능한 것일까? 1차 접촉을 우편으로 하는 푸시웹조사는 현재로서는 불가하다. 하지만 다른 방법으로 생각을 전환해보면 불가능할 것도 없다. 1차 접촉을 휴대전화 RDD 생성을 통해 전화로 한다면 가능할 수 있기 때문이다. 조금 더 자세히 얘기하면 휴대전화 RDD로 전화번호를 생성하고, 그 번호로 조사원이 전화를 걸어 조사를 안내하고 웹설문을 할 수 있는 URL을 문자로 보내주면 응답자는 URL을 눌러 조사에 참여하는 절차를 거친다. 조사 사례금도 모바일(모바일문화상품권 등)로 받는다. 이 방법은 2012년부터 2020년까지 아산정책연구원 연례조사에서 실제로 활용된 적도 있다.