메소드서베이

   설문지를 만들면서 고민되는 게 참 많지만 척도 배치를 긍정에서 부정순으로 하느냐 아니면 부정에서 긍정순으로 하는 것도 그 중 하나다. 경험적으로 보면 고객마다 이 부분은 다르게 생각하는 것 같다. 즉 어떤 고객은 긍정에서 부정을 선호하고 어떤 고객은 그 반대인 경우가 있다.   그렇다면 긍부정 척도는 어떤 순으로 배치하는게 좋을까? 어떻게 해도 상관 없는 것일까? 음...문헌을 찾다보니 그건 아닌거 같다.   정답부터 말하자면 긍정에서 부정순으로 하는 게 더 나은 것 같다.      그렇다면 어떤 근거로? 그 대답을 위해서 약간은 이론적인 이야기를 해보겠다. 설문을 만드는데 있어 아래와 같은 5가지 휴라스틱이 있다. 1. Middle means typical: respondents will see the middle option as the most typical 2. Left and top means first: the leftmost or top option will be seen as the 'first' in conceptual sense  3. Near means related: options that are physically near each other are expected to be related conceptually 4. Up means good: the top option will be seen as the most desirable 5. Like means close: visually similar options will be seen as closer conceptually.   이 중에서 이번에 적용할 휴리스틱은 바로 '2. Left and top means first'과 '4. Up means good'이다. 이 말은 쉽게 설명하자면 왼쪽이나 위를 시작점으로 잡고 왼쪽에서 오른쪽으로 위쪽에서 아래쪽으로 척도를 이해한다는 것이다. 한 걸음 더...

   정당지지도는 이념과 더불어 정치적 정향(orientation) 중 하나이며 상당히 안정적이라는 것이 정치학에 있어  통념이다. 물론 최근에는 정당지지도 역시 정치적 상황에 따라 변화할 수 있다는 입장으로 선회하기는 하였다.   그럼에도 불구하고 우리나라 정당지지도는 너무 자주 변화한다는 느낌을 지울 수 없는데...그렇다면 우리나라 사람들이 변덕이 심해서 그런걸까? 아래 그래프는 한국갤럽의 정당지지도 결과 추이이다. 매주 오르고 내리고 다이내믹한 것을 볼 수 있다.   아래 그래프는 유고브에서 미국의 민주당과 공화당의 호감도를 측정한 것이다. 우리나라와 다른 것은  보기 중에 고르라는 'Ranking Questions' 방식이 아니라  정당 각각에 대한 호감도를 물어보는 'Rating Questions' 방식을 활용했다는 점이다.      어쩌면 우리나라 정당지지도의 다이내믹은  'Ranking Questions' 방식에서 기인할 수 있겠다는 생각이 든다.

  2021년은 선거의 해라 그런지 각종 선거여론조사 결과들이 쏟아지고 있다. 대통령선거 후보 지지도를 비롯하여 서울시장과 부산시장 후보 지지도까지 다양한 조사 기관에서 다양한 결과들이 보도되고 있다.  그런데 희한하게도 우리나라 선거여론조사에서만 선호(?)하는 후보 지지 문항 방식이 있다. 그것은 바로 보기 중에 고르라는 'Ranking Questions' 방식이다. 정당의 후보가 확정되지도 않았는데도 아랑곳하지 않고 이 방식을 고수한다. 그러나 이 방식은 치명적인 단점이 존재한다. 아래 표에서 볼 수 있듯이 보기 수가 4개를 넘어가면 응답자에게 가하는 부담이 커진다는 것이다. 정치선거여론조사가 대부분 전화조사로 이루어지고 있는데 이러한 부담 증가는 결국 응답 질의 저하로 나타날 수 밖에 없다. 그 뿐이 아니다. 이 방식은 보기가 달라지면 후보 지지율이 달라질 가능성이 매우 크다. <참조: https://community.verint.com/b/customer-engagement/posts/ranking-questions-vs-rating-questions>     이런 문제 때문에 미국 등 대부분의 선진국에서는 후보 각각에 대한 호감도나 지지정도를 물어보는 'Rating Questions' 방식을 활용한다. 이 방식의 장점은 응답자의 부담을 줄여 응답의 질을 높일 수 있고, 후보 수가 응답에 영향을 미치지 않는다는 것이다. 그렇다고 주요 선진국들이  'Ranking Questions' 방식을 안쓰는 것은 물론 아니다. 각 정당의 후보가 확정되면 누구에게 투표할지 혹은 누구를 선택할지 고르라는  'Ranking Questions' 방식을 당연히 활용한다.  그렇다면 우리나라는 각 정당의 후보가 결정되지도 않았는데 왜 이렇게 용감(?)하게  'Ranking Questions' 방식만 고수하는 것일가? '무지'해서일까?