(업데이트) 정치사회 영역의 웹조사는 어떻게 진화해나갈 것인가?

 마케팅 영역에서 활발하던 웹조사 방법은 어느새 정치 사회 영역에도 깊숙이 자리를 잡아버렸다. 정치, 경제, 심리 등 다양한 사회과학 영역에서 뿐만 아니라 정치나 정책 영역에서도 이제는 웹조사가 소위 '대세'가 되고 있다.

  웹조사는 응답 대상자에게 구조화된 웹설문 url을 보내고, 응답 대상자가 그 url에 접속하여 자기기입을 통해 조사를 진행하는 방식을 의미한다.

  웹조사가 다 그게 그거 같겠지만 크게 네 가지 유형이 있는데 정리하면 다음과 같다.

   (유형1) 조사회사나 연구소가 구축해 놓은 액세스 패널을 활용한 웹조사

     (유형1-1) 구축한 액세스 패널이 옵트인 패널(한마디로 비확률추출 기반 패널)인 경우

     (유형1-2) 구축한 액세스 패널이 확률추출기반 패널인 경우

   (유형2) 특정 사이트 게시판이나 배너를 매개로 참여한 응답자를 활용한 웹조사

     (유형2-1) 페이스북 등 소셜미디어를 통해 모집한 응답자인 경우

     (유형2-2) 아마존의 Mturk 등 크라우드 소싱을 통해 모집한 응답자인 경우

   (유형3) 오프라인 조사 등을 통해 모집한 응답자를 활용한 웹조사

     (유형3-1) 전화면접조사를 통해 모집한 응답자인 경우

     (유형3-2) 대면면접조사를 통해 모집한 응답자인 경우

     (유형3-3) 우편조사를 통해 모집한 응답자인 경우

   (유형4) 무작위로 생성한 무선전화(RDD)를 활용한 웹조사

     (유형4-1) 무선전화 RDD에 문자를 보내 진행하는 웹조사

     (유형4-2) 무선전화 RDD에 전화를 걸어 안내를 한 후 문자를 보내 진행하는 웹조사

 그렇다면 이렇게 다양한 유형의 조사 중 어떤 유형이 정치사회 영역의 웹조사로 살아남고 진화할 것인가? 필자 생각에는 (유형1-1), (유형2-1), (유형2-2), (유형3-3), 유형(4-2) 정도가 아닐까 하는데, 그 이유는 다음과 같다.

  (유형1) 중 (유형1-2)가 진화하기 어려운 이유는 이론적으로는 (유형1-2)가 좋지만, 비용적 측면에서 부담이 높고, 관리 패널 수가 상대적으로 적어서 패널 오염(패널이 많은 조사를 하다보면 나름의 노하우가 생기는 것)의 가능성이 높다는 단점이 있기 때문이다. 그에 비해 (유형1-1)은 많은 패널 수를 관리하기 때문에 그러한 가능성이 낮고, 지속적인 업그레이드가 용이한 측면이 있다.

  (유형2)의 경우 표집틀 측면에서 문제가 많은 조사이지만 참여자가 확대되고, 많은 노하우가 쌓이다보면 계속해서 진화할 가능성이 크다.

  (유형3) 중 (유형3-1)과 (유형3-2)는 응답 대상자를 모집하는 과정에서 비용이 너무 많이 발생하는 단점이 있어 진화하기 어려울 것으로 보이는 반면, (유형3-3)은 우편조사의 특성답게 저비용으로 응답자 모집이 가능하다는 장점이 있다.

  (유형4-1)의 경우 이론적으나 비용적으로나 아이디얼한 조사에 가까우나 모르는 번호로 문자가 왔을 경우 응답자가 이를 거부할 가능성이 높다는 문제로 아직은 진화 가능성이 높지는 않다고 본다. 반면 (유형4-2)의 경우에는 전화조사 비용의 1.5배 정도를 들이면 진행할 수 있고 응답율 차원에서도 기존의 전화조사에 비해 크게 낮지 않다는 장점이 있어 활성화될 여지가 있다.

선거여론조사에서 '모름/무응답'이라고 쓰는게 맞을까?

 중앙여론조사심의위원회 홈페이지 등록 선거여론조사에서 아래와 같이 '모름/무응답'이란 항목을 매번 본다. '2021 선거여론조사 가이드북'에 나온 내용이니 당연하게 문제가 없다고 여기고 습관적으로 활용하고 있는 것이다. 그렇다면 정말 '모름/무응답'으로 표기하는 건 문제가 없는 것일까??????????????

<2021 선거여론조사 가이드북>

우선 '모름'과 '무응답'의 의미부터 알아보자.

'모름'은 그야말로 해당 문항에 대해 '모르겠다'는 자기 표현이다. 예를 들어 어느 정당을 지지하는지 물어보고 정당 이름(지지정당 없음 포함)를 불러주었을 때 정말 모르겠다고 응답할 수 있다.

반면 '무응답'은 항목무응답 즉 해당 문항에 대해 응답을 받지 못한 결측치(Missing Data)를 의미하는 것으로 응답자의 의사표현이 아니다.

그러면 왜 이렇게 성격이 다른 모름/무응답을 같이 표기하는 것일까? 유추해보면 전화조사에서 CATI를 쓰지 않았던 과거에는 종이설문지를 조사원에게 나누어주고 종이설문지에 응답을 표기하게 하고, 표기한 설문지를 수거하여 입력원이 컴퓨터에 입력하는 과정에서 실수로 문항에 답을 표기하지 않았거나 혹은 해당 문항을 묻지 않고 넘어갔을 경우가 있었을 것이다. 이러한 이유로 무응답이라는 것이 발생했을 것이고 아마도 이를 따로 표기하기보다 모르겠다에 포함했을 개연성이 컸다고 본다....

반대로 CATI 시스템을 활용하는 전화조사에서는 '무응답'은 절대로 나올 수 없다. 그러니 굳이 무응답이란 항목이 필요 없는 것이다.

그러면 앞으로 어떻게 하는 것이 좋을까? 한국갤럽과 같이 무응답 대신에 '응답거절'이라고 표기하는 것도 한 가지 대안이 될 수 있다고 본다.

정치사회 영역의 웹조사는 어떻게 진화해나갈 것인가?

  마케팅 영역에서 활발하던 웹조사 방법은 어느새 정치 사회 영역에도 깊숙이 자리를 잡아버렸다. 정치, 경제, 심리 등 다양한 사회과학 영역에서 뿐만 아니라 정치나 정책 영역에서도 이제는 웹조사가 대세가 되고 있다.

  웹조사는 응답 대상자에게 구조화된 웹설문 url을 보내고, 응답 대상자가 그 url에 접속하여 자기기입을 통해 조사를 진행하는 방식을 의미한다.

  웹조사가 다 그게 그거 같겠지만 크게 네 가지 유형이 있는데 정리하면 다음과 같다.

   (유형1) 조사회사나 연구소가 구축해 놓은 액세스 패널을 활용한 웹조사

     (유형1-1) 구축한 액세스 패널이 옵트인 패널(한마디로 비확률추출 기반 패널)인 경우

     (유형1-2) 구축한 액세스 패널이 확률추출기반 패널인 경우

   (유형2) 특정 사이트 게시판이나 배너를 매개로 참여한 응답자를 활용한 웹조사

     (유형2-1) 페이스북 등 소셜미디어를 통해 모집한 응답자인 경우

     (유형2-2) 아마존의 Mturk 등 크라우드 소싱을 통해 모집한 응답자인 경우

   (유형3) 오프라인 조사 등을 통해 모집한 응답자를 활용한 웹조사

     (유형3-1) 전화면접조사를 통해 모집한 응답자인 경우

     (유형3-2) 대면면접조사를 통해 모집한 응답자인 경우

     (유형3-3) 우편조사를 통해 모집한 응답자인 경우

   (유형4) 무작위로 생성한 무선전화에 문자를 보내 진행하는 웹조사

 그렇다면 이렇게 다양한 유형의 조사 중 어떤 유형이 정치사회 영역의 웹조사로 살아남고 진화할 것인가? 필자 생각에는 (유형1-1), (유형2-1), (유형2-2), (유형3-3) 정도가 아닐까 하는데, 그 이유는 다음과 같다.

  (유형1) 중 (유형1-2)가 진화하기 어려운 이유는 이론적으로는 (유형1-2)가 좋지만, 비용적 측면에서 부담이 높고, 관리 패널 수가 상대적으로 적어서 패널 오염(패널이 많은 조사를 하다보면 나름의 노하우가 생기는 것)의 가능성이 높다는 단점이 있기 때문이다. 그에 비해 (유형1-1)은 많은 패널 수를 관리하기 때문에 그러한 가능성이 낮고, 지속적인 업그레이드가 용이한 측면이 있다.

  (유형2)의 경우 표집틀 측면에서 문제가 많은 조사이지만 참여자가 확대되고, 많은 노하우가 쌓이다보면 계속해서 진화할 가능성이 크다.

  (유형3) 중 (유형3-1)과 (유형3-2)는 응답 대상자를 모집하는 과정에서 비용이 너무 많이 발생하는 단점이 있어 진화하기 어려울 것으로 보이는 반면, (유형3-3)은 우편조사의 특성답게 저비용으로 응답자 모집이 가능하다는 장점이 있다.

  (유형4)의 경우 이론적으나 비용적으로나 아이디얼한 조사에 가까우나 모르는 번호로 문자가 왔을 경우 응답자가 이를 거부할 가능성이 높다는 문제로 아직은 진화 가능성이 높지는 않다고 본다.

  

긍부정 척도는 어떤 순으로 배치하는게 좋을까?

   설문지를 만들면서 고민되는 게 참 많지만 척도 배치를 긍정에서 부정순으로 하느냐 아니면 부정에서 긍정순으로 하는 것도 그 중 하나다. 경험적으로 보면 고객마다 이 부분은 다르게 생각하는 것 같다. 즉 어떤 고객은 긍정에서 부정을 선호하고 어떤 고객은 그 반대인 경우가 있다.

  그렇다면 긍부정 척도는 어떤 순으로 배치하는게 좋을까? 어떻게 해도 상관 없는 것일까? 음...문헌을 찾다보니 그건 아닌거 같다.

  정답부터 말하자면 긍정에서 부정순으로 하는 게 더 나은 것 같다.

  

  그렇다면 어떤 근거로? 그 대답을 위해서 약간은 이론적인 이야기를 해보겠다. 설문을 만드는데 있어 아래와 같은 5가지 휴라스틱이 있다.

1. Middle means typical: respondents will see the middle option as the most typical

2. Left and top means first: the leftmost or top option will be seen as the 'first' in conceptual sense 

3. Near means related: options that are physically near each other are expected to be related conceptually

4. Up means good: the top option will be seen as the most desirable

5. Like means close: visually similar options will be seen as closer conceptually.

  이 중에서 이번에 적용할 휴리스틱은 바로 '2. Left and top means first'과 '4. Up means good'이다. 이 말은 쉽게 설명하자면 왼쪽이나 위를 시작점으로 잡고 왼쪽에서 오른쪽으로 위쪽에서 아래쪽으로 척도를 이해한다는 것이다. 한 걸음 더 나아가 시작점을 긍정으로 인식하고 대척점을 부정으로 인식한다는 것이다.

  마지막으로 예를 들어 조금 더 명확히 하고자 한다. B보다는 A타입이 더 낫다는 것이다. 이는 세로나 가로 배치 모두에 적용된다

귀하께서는 문재인 대통령이 국정을 어떻게 운영한다고 생각하십니까?

(A-1)

1. 매우 잘한다

2. 대체로 잘한다

3. 별로 못한다

4. 매우 못한다

9. 모르겠다

(A-2)

1. 매우 잘한다   2. 대체로 잘한다   3. 별로 못한다   4. 매우 못한다   9. 모르겠다

(B-1)

1. 매우 못한다

2. 별로 못한다

3.  대체로 잘한다

4. 매우 잘한다

9. 모르겠다

(B-2)

1. 매우 못한다  2. 별로 못한다  3.  대체로 잘한다  4. 매우 잘한다  9. 모르겠다

  뭐 여기까지 얘기했으니 관련해서 조금 더 얘기해보자면 위의 A타입 척도 배치에도 문제가 있다. 이는 '1. Middle means typical'과 관련이 있는데 즉 모르겠다는 보기 때문에 척도의 중간지점이 '3. 별로 못한다'가 되어 버리는 문제가 있다. 이를 감안하여 수정해보면 아래와 같이 하는 것이 가장 이상적이다.

귀하께서는 문재인 대통령이 국정을 어떻게 운영한다고 생각하십니까?

(A-1-1)

1. 매우 잘한다

2. 대체로 잘한다

3. 별로 못한다

4. 매우 못한다

-----------------------------------------------

9. 모르겠다

(A-2-1)

1. 매우 잘한다   2. 대체로 잘한다   3. 별로 못한다   4. 매우 못한다                9. 모르겠다

우리나라 여론조사는 정당지지도를 제대로 측정하고 있는 것일까?

   정당지지도는 이념과 더불어 정치적 정향(orientation) 중 하나이며 상당히 안정적이라는 것이 정치학에 있어  통념이다. 물론 최근에는 정당지지도 역시 정치적 상황에 따라 변화할 수 있다는 입장으로 선회하기는 하였다.

  그럼에도 불구하고 우리나라 정당지지도는 너무 자주 변화한다는 느낌을 지울 수 없는데...그렇다면 우리나라 사람들이 변덕이 심해서 그런걸까? 아래 그래프는 한국갤럽의 정당지지도 결과 추이이다. 매주 오르고 내리고 다이내믹한 것을 볼 수 있다.

  아래 그래프는 유고브에서 미국의 민주당과 공화당의 호감도를 측정한 것이다. 우리나라와 다른 것은 보기 중에 고르라는 'Ranking Questions' 방식이 아니라 정당 각각에 대한 호감도를 물어보는 'Rating Questions' 방식을 활용했다는 점이다.

  

  어쩌면 우리나라 정당지지도의 다이내믹은 'Ranking Questions' 방식에서 기인할 수 있겠다는 생각이 든다.

Ranking Questions vs. Rating Questions

  2021년은 선거의 해라 그런지 각종 선거여론조사 결과들이 쏟아지고 있다. 대통령선거 후보 지지도를 비롯하여 서울시장과 부산시장 후보 지지도까지 다양한 조사 기관에서 다양한 결과들이 보도되고 있다.

 그런데 희한하게도 우리나라 선거여론조사에서만 선호(?)하는 후보 지지 문항 방식이 있다. 그것은 바로 보기 중에 고르라는 'Ranking Questions' 방식이다. 정당의 후보가 확정되지도 않았는데도 아랑곳하지 않고 이 방식을 고수한다. 그러나 이 방식은 치명적인 단점이 존재한다. 아래 표에서 볼 수 있듯이 보기 수가 4개를 넘어가면 응답자에게 가하는 부담이 커진다는 것이다. 정치선거여론조사가 대부분 전화조사로 이루어지고 있는데 이러한 부담 증가는 결국 응답 질의 저하로 나타날 수 밖에 없다. 그 뿐이 아니다. 이 방식은 보기가 달라지면 후보 지지율이 달라질 가능성이 매우 크다.

<참조: https://community.verint.com/b/customer-engagement/posts/ranking-questions-vs-rating-questions>

 

  이런 문제 때문에 미국 등 대부분의 선진국에서는 후보 각각에 대한 호감도나 지지정도를 물어보는 'Rating Questions' 방식을 활용한다. 이 방식의 장점은 응답자의 부담을 줄여 응답의 질을 높일 수 있고, 후보 수가 응답에 영향을 미치지 않는다는 것이다. 그렇다고 주요 선진국들이  'Ranking Questions' 방식을 안쓰는 것은 물론 아니다. 각 정당의 후보가 확정되면 누구에게 투표할지 혹은 누구를 선택할지 고르라는  'Ranking Questions' 방식을 당연히 활용한다.

 그렇다면 우리나라는 각 정당의 후보가 결정되지도 않았는데 왜 이렇게 용감(?)하게  'Ranking Questions' 방식만 고수하는 것일가? '무지'해서일까?