정치사회 영역의 웹조사는 어떻게 진화해나갈 것인가?

  마케팅 영역에서 활발하던 웹조사 방법은 어느새 정치 사회 영역에도 깊숙이 자리를 잡아버렸다. 정치, 경제, 심리 등 다양한 사회과학 영역에서 뿐만 아니라 정치나 정책 영역에서도 이제는 웹조사가 대세가 되고 있다.

  웹조사는 응답 대상자에게 구조화된 웹설문 url을 보내고, 응답 대상자가 그 url에 접속하여 자기기입을 통해 조사를 진행하는 방식을 의미한다.

  웹조사가 다 그게 그거 같겠지만 크게 네 가지 유형이 있는데 정리하면 다음과 같다.

   (유형1) 조사회사나 연구소가 구축해 놓은 액세스 패널을 활용한 웹조사

     (유형1-1) 구축한 액세스 패널이 옵트인 패널(한마디로 비확률추출 기반 패널)인 경우

     (유형1-2) 구축한 액세스 패널이 확률추출기반 패널인 경우

   (유형2) 특정 사이트 게시판이나 배너를 매개로 참여한 응답자를 활용한 웹조사

     (유형2-1) 페이스북 등 소셜미디어를 통해 모집한 응답자인 경우

     (유형2-2) 아마존의 Mturk 등 크라우드 소싱을 통해 모집한 응답자인 경우

   (유형3) 오프라인 조사 등을 통해 모집한 응답자를 활용한 웹조사

     (유형3-1) 전화면접조사를 통해 모집한 응답자인 경우

     (유형3-2) 대면면접조사를 통해 모집한 응답자인 경우

     (유형3-3) 우편조사를 통해 모집한 응답자인 경우

   (유형4) 무작위로 생성한 무선전화에 문자를 보내 진행하는 웹조사

 그렇다면 이렇게 다양한 유형의 조사 중 어떤 유형이 정치사회 영역의 웹조사로 살아남고 진화할 것인가? 필자 생각에는 (유형1-1), (유형2-1), (유형2-2), (유형3-3) 정도가 아닐까 하는데, 그 이유는 다음과 같다.

  (유형1) 중 (유형1-2)가 진화하기 어려운 이유는 이론적으로는 (유형1-2)가 좋지만, 비용적 측면에서 부담이 높고, 관리 패널 수가 상대적으로 적어서 패널 오염(패널이 많은 조사를 하다보면 나름의 노하우가 생기는 것)의 가능성이 높다는 단점이 있기 때문이다. 그에 비해 (유형1-1)은 많은 패널 수를 관리하기 때문에 그러한 가능성이 낮고, 지속적인 업그레이드가 용이한 측면이 있다.

  (유형2)의 경우 표집틀 측면에서 문제가 많은 조사이지만 참여자가 확대되고, 많은 노하우가 쌓이다보면 계속해서 진화할 가능성이 크다.

  (유형3) 중 (유형3-1)과 (유형3-2)는 응답 대상자를 모집하는 과정에서 비용이 너무 많이 발생하는 단점이 있어 진화하기 어려울 것으로 보이는 반면, (유형3-3)은 우편조사의 특성답게 저비용으로 응답자 모집이 가능하다는 장점이 있다.

  (유형4)의 경우 이론적으나 비용적으로나 아이디얼한 조사에 가까우나 모르는 번호로 문자가 왔을 경우 응답자가 이를 거부할 가능성이 높다는 문제로 아직은 진화 가능성이 높지는 않다고 본다.

  

긍부정 척도는 어떤 순으로 배치하는게 좋을까?

   설문지를 만들면서 고민되는 게 참 많지만 척도 배치를 긍정에서 부정순으로 하느냐 아니면 부정에서 긍정순으로 하는 것도 그 중 하나다. 경험적으로 보면 고객마다 이 부분은 다르게 생각하는 것 같다. 즉 어떤 고객은 긍정에서 부정을 선호하고 어떤 고객은 그 반대인 경우가 있다.

  그렇다면 긍부정 척도는 어떤 순으로 배치하는게 좋을까? 어떻게 해도 상관 없는 것일까? 음...문헌을 찾다보니 그건 아닌거 같다.

  정답부터 말하자면 긍정에서 부정순으로 하는 게 더 나은 것 같다.

  

  그렇다면 어떤 근거로? 그 대답을 위해서 약간은 이론적인 이야기를 해보겠다. 설문을 만드는데 있어 아래와 같은 5가지 휴라스틱이 있다.

1. Middle means typical: respondents will see the middle option as the most typical

2. Left and top means first: the leftmost or top option will be seen as the 'first' in conceptual sense 

3. Near means related: options that are physically near each other are expected to be related conceptually

4. Up means good: the top option will be seen as the most desirable

5. Like means close: visually similar options will be seen as closer conceptually.

  이 중에서 이번에 적용할 휴리스틱은 바로 '2. Left and top means first'과 '4. Up means good'이다. 이 말은 쉽게 설명하자면 왼쪽이나 위를 시작점으로 잡고 왼쪽에서 오른쪽으로 위쪽에서 아래쪽으로 척도를 이해한다는 것이다. 한 걸음 더 나아가 시작점을 긍정으로 인식하고 대척점을 부정으로 인식한다는 것이다.

  마지막으로 예를 들어 조금 더 명확히 하고자 한다. B보다는 A타입이 더 낫다는 것이다. 이는 세로나 가로 배치 모두에 적용된다

귀하께서는 문재인 대통령이 국정을 어떻게 운영한다고 생각하십니까?

(A-1)

1. 매우 잘한다

2. 대체로 잘한다

3. 별로 못한다

4. 매우 못한다

9. 모르겠다

(A-2)

1. 매우 잘한다   2. 대체로 잘한다   3. 별로 못한다   4. 매우 못한다   9. 모르겠다

(B-1)

1. 매우 못한다

2. 별로 못한다

3.  대체로 잘한다

4. 매우 잘한다

9. 모르겠다

(B-2)

1. 매우 못한다  2. 별로 못한다  3.  대체로 잘한다  4. 매우 잘한다  9. 모르겠다

  뭐 여기까지 얘기했으니 관련해서 조금 더 얘기해보자면 위의 A타입 척도 배치에도 문제가 있다. 이는 '1. Middle means typical'과 관련이 있는데 즉 모르겠다는 보기 때문에 척도의 중간지점이 '3. 별로 못한다'가 되어 버리는 문제가 있다. 이를 감안하여 수정해보면 아래와 같이 하는 것이 가장 이상적이다.

귀하께서는 문재인 대통령이 국정을 어떻게 운영한다고 생각하십니까?

(A-1-1)

1. 매우 잘한다

2. 대체로 잘한다

3. 별로 못한다

4. 매우 못한다

-----------------------------------------------

9. 모르겠다

(A-2-1)

1. 매우 잘한다   2. 대체로 잘한다   3. 별로 못한다   4. 매우 못한다                9. 모르겠다

우리나라 여론조사는 정당지지도를 제대로 측정하고 있는 것일까?

   정당지지도는 이념과 더불어 정치적 정향(orientation) 중 하나이며 상당히 안정적이라는 것이 정치학에 있어  통념이다. 물론 최근에는 정당지지도 역시 정치적 상황에 따라 변화할 수 있다는 입장으로 선회하기는 하였다.

  그럼에도 불구하고 우리나라 정당지지도는 너무 자주 변화한다는 느낌을 지울 수 없는데...그렇다면 우리나라 사람들이 변덕이 심해서 그런걸까? 아래 그래프는 한국갤럽의 정당지지도 결과 추이이다. 매주 오르고 내리고 다이내믹한 것을 볼 수 있다.

  아래 그래프는 유고브에서 미국의 민주당과 공화당의 호감도를 측정한 것이다. 우리나라와 다른 것은 보기 중에 고르라는 'Ranking Questions' 방식이 아니라 정당 각각에 대한 호감도를 물어보는 'Rating Questions' 방식을 활용했다는 점이다.

  

  어쩌면 우리나라 정당지지도의 다이내믹은 'Ranking Questions' 방식에서 기인할 수 있겠다는 생각이 든다.

Ranking Questions vs. Rating Questions

  2021년은 선거의 해라 그런지 각종 선거여론조사 결과들이 쏟아지고 있다. 대통령선거 후보 지지도를 비롯하여 서울시장과 부산시장 후보 지지도까지 다양한 조사 기관에서 다양한 결과들이 보도되고 있다.

 그런데 희한하게도 우리나라 선거여론조사에서만 선호(?)하는 후보 지지 문항 방식이 있다. 그것은 바로 보기 중에 고르라는 'Ranking Questions' 방식이다. 정당의 후보가 확정되지도 않았는데도 아랑곳하지 않고 이 방식을 고수한다. 그러나 이 방식은 치명적인 단점이 존재한다. 아래 표에서 볼 수 있듯이 보기 수가 4개를 넘어가면 응답자에게 가하는 부담이 커진다는 것이다. 정치선거여론조사가 대부분 전화조사로 이루어지고 있는데 이러한 부담 증가는 결국 응답 질의 저하로 나타날 수 밖에 없다. 그 뿐이 아니다. 이 방식은 보기가 달라지면 후보 지지율이 달라질 가능성이 매우 크다.

<참조: https://community.verint.com/b/customer-engagement/posts/ranking-questions-vs-rating-questions>

 

  이런 문제 때문에 미국 등 대부분의 선진국에서는 후보 각각에 대한 호감도나 지지정도를 물어보는 'Rating Questions' 방식을 활용한다. 이 방식의 장점은 응답자의 부담을 줄여 응답의 질을 높일 수 있고, 후보 수가 응답에 영향을 미치지 않는다는 것이다. 그렇다고 주요 선진국들이  'Ranking Questions' 방식을 안쓰는 것은 물론 아니다. 각 정당의 후보가 확정되면 누구에게 투표할지 혹은 누구를 선택할지 고르라는  'Ranking Questions' 방식을 당연히 활용한다.

 그렇다면 우리나라는 각 정당의 후보가 결정되지도 않았는데 왜 이렇게 용감(?)하게  'Ranking Questions' 방식만 고수하는 것일가? '무지'해서일까?

웹조사를 채팅 스타일로 하면 어떨까?

  웹조사가 보편화되면서 다양한 방식의 웹조사가 시도되고 있다. 그 중 최근 주목받고 있는 것이 채팅 스타일의 웹설문 포맷이다. 일반적인 웹조사는 url을 누르고 버튼 방식으로 보기를 누르는 식으로 진행되지만 채팅 스타일의 웹조사는 마치 카톡에서 대화를 나누듯이 조사를 진행한다. 그렇다면 이러한 채팅 스타일은 웹조사 응답 퀄리티에 어떤 영향을 주는걸까?

 이와 관련하여 최근 연구 논문이 있어 소개하고자 한다. 아래 논문의 결론은 채팅 방식의 웹설문이 일반적인 방식에 비해 뭐 하나 딱히 나은게 없다는 것이다. 물론 향후 더 많은 테스트가 필요하겠지만 내 생각에도 굳이 채팅 방식으로 설문을 하는 것이 뭐가 그리 더 좋을지는 회의적이다.

웹조사 시 오픈 응답 박스에 로렘 입숨(lorem ipsum; 모형의 채움 글)이 효과가 있을까?

 웹조사는 전화조사와는 달리 자기 기입 조사이고 문항 수를 조금 많이 가지고 갈 수 있는 장점이 있어 오픈 문항을 많이 활용한다. 오픈 문항은 쉽게 말해 주관식 문항이다. 아무래도 보기가 있는 문항보다 응답자에게 부담을 많이 주는 특성 때문에 응답의 질이 낮은 게 당연하다. 이러한 이유로 연구자들은 어떻게 하면 오픈 응답의 질을 높일 수 있을지에 대해 많이 고민했고, 여기에 소개하는 로렘 입숨(lorem ipsum; 모형의 채움 글)은 그 한 예이다.

로렘 입숨(lorem ipsum; 모형의 채움 글)에는 여러 종류가 있지만 대략 아래와 같이 b, c, d 세 종류가 일반적이다. a는 로렘 입숨이 없는 일반적인 박스 형태이다.

 그렇다면 과연 로렘 입숨(lorem ipsum; 모형의 채움 글)은 응답의 질 제고에 효과가 있을까?

최근 이와 관련한 아래 논문에서는 효과가 없다는 것이다. 효과가 없을 뿐 아니라 잘못하면 응답자의 부담만 가중하는 역효과도 있을 수 있다는게 이 논문의 결론이다.

그냥 자연스러운게 가장 좋은 웹설문 포맷인거 같다는 생각이 든다.

[엉뚱생각] 카카오가 '웹조사 패널'(일명 카카오 피플즈?)를 만들면?

 

 2018년에 '[엉뚱생각] 카카오가 웹조사 시장에 뛰어들어 일명 '카카오서베이'를 만들면?'(https://method-survey.blogspot.com/2018/11/blog-post_73.html)이라는 포스팅을 올린 적이 있다. 내용을 요약하면 우리나라 스마트폰 이용자의 대다수가 사용하는 카카오톡을 활용하여 카카오가 서베이를 하면 여러가지 면에서 대박이 날수 있겠다는 내용이었다.

 그러나 내가 한 가지 간과한 것이 있었다. 바로 서베이 회사를 직접 만들 때 카카오가 감당해야 할 '위험성'이다. 예를 들어 누군가가 민감한 내용의 여론조사를 카카오 서베이에 의뢰하여 진행했고, 이를 언론 보도하여 그 결과가 논란이 될 경우 카카오 서베이는 사람들 입에서 오르내리게 되고 조사 결과가 공정하니 아니니 등의 '욕'을 고스란히 먹을 수 있다. 오서독스한 조사회사야 그런 '욕'을 먹는게 상당히 흔한 상황일 줄 모르나 카카오의 경우는 상당히 부담일 것이다.

 그렇다면 카카오는 서베이를 그냥 안하는 게 나은 것인가? 그건 아니라고 본다. 그래서 내가 새롭게 생각해 본 것은 '웹조사 패널' 회사를 만드는 것이다. 서베이 회사와 패널 회사 뭐가 다른거야라고 생각하실 수 있다. 그러나 이건 완전 다르다. 조사 패널을 회사는 그야 말로 웹조사 표집틀인 '패널'을 대여해주는 회사이다. 즉 조사 주체가 되는 것은 이 패널을 활용하여 조사한 회사나 개인이 되는 것이다. 예를 들어 내가 소속되어 있는 한국리서치가 '카카오 패널'을 활용하여 웹조사를 할 경우 조사 관련한 대부분의 책임은 한국리서치가 지게 되는 것이다.

  카카오는 카카오톡이라는 대한민국 대다수가 활용하는 어플을 가진 회사이다. 카톡 특성상 전화번호와 개인의 성별 등 개인정보도 보유하고 있다. 가입자 동의를 통해 이 회원들을 '패널'화 한다면 이는 국내뿐 아니라 전 세계적으로도 유례없는 웹조사 패널이 될 수 있을 것이다.

 엉뚱한 상상을 해 보는 김에 카카오 패널의 이름도 지어 봤다. 카카오 프렌즈에서 영감을 받아 '카카오 피플즈'......