Ranking Questions vs. Rating Questions

  2021년은 선거의 해라 그런지 각종 선거여론조사 결과들이 쏟아지고 있다. 대통령선거 후보 지지도를 비롯하여 서울시장과 부산시장 후보 지지도까지 다양한 조사 기관에서 다양한 결과들이 보도되고 있다.

 그런데 희한하게도 우리나라 선거여론조사에서만 선호(?)하는 후보 지지 문항 방식이 있다. 그것은 바로 보기 중에 고르라는 'Ranking Questions' 방식이다. 정당의 후보가 확정되지도 않았는데도 아랑곳하지 않고 이 방식을 고수한다. 그러나 이 방식은 치명적인 단점이 존재한다. 아래 표에서 볼 수 있듯이 보기 수가 4개를 넘어가면 응답자에게 가하는 부담이 커진다는 것이다. 정치선거여론조사가 대부분 전화조사로 이루어지고 있는데 이러한 부담 증가는 결국 응답 질의 저하로 나타날 수 밖에 없다. 그 뿐이 아니다. 이 방식은 보기가 달라지면 후보 지지율이 달라질 가능성이 매우 크다.

<참조: https://community.verint.com/b/customer-engagement/posts/ranking-questions-vs-rating-questions>

 

  이런 문제 때문에 미국 등 대부분의 선진국에서는 후보 각각에 대한 호감도나 지지정도를 물어보는 'Rating Questions' 방식을 활용한다. 이 방식의 장점은 응답자의 부담을 줄여 응답의 질을 높일 수 있고, 후보 수가 응답에 영향을 미치지 않는다는 것이다. 그렇다고 주요 선진국들이  'Ranking Questions' 방식을 안쓰는 것은 물론 아니다. 각 정당의 후보가 확정되면 누구에게 투표할지 혹은 누구를 선택할지 고르라는  'Ranking Questions' 방식을 당연히 활용한다.

 그렇다면 우리나라는 각 정당의 후보가 결정되지도 않았는데 왜 이렇게 용감(?)하게  'Ranking Questions' 방식만 고수하는 것일가? '무지'해서일까?