응답률이 낮으면 질이 낮은 조사일까?

  여론조사를 공격할 때 흔히들 지적하는 레퍼토리는 응답률이다. 낮은 응답률의 조사는 대표성과 자료의 질 차원에서 나쁘다는 것이다. 과연 이 말은 사실일까?

  지금까지 나온 결과를 종합해보면 이는 사실이 아니다. 정확하게는 응답률과 자료의 질과는 강한 연관 관계가 없다는 것이다. 심지어 언론 보도 시에 응답률을 반드시 이야기하지 않아도 된다는 게 미국여론조사협회의 입장이다. 응답률에 목을 맨 우리나라와는 사뭇 다른 입장이다.



댓글

댓글 쓰기

이 블로그의 인기 게시물

5점 척도 분석 시 (환산) 평균값이 최상일까?

이미지
 중간 보기가 없는 2점이나 4점의 경우는 긍정비율(찬성, 만족 등)을 가지고 주로 분석을 한다. 그러나 중간 보기가 있는 3점이나 (특히) 5점의 경우 긍정비율보다는 평균값(3점 or 5점 만점, 아니면 이를 100점으로 환산)을 많이 활용한다. 왜 일까? 아마도 중간 보기의 해석이 어려워서일거다.  그러나 최근에 통계청 2018 사회조사 결과를 보면서 5점 척도의 경우 평균값을 활용하지 않는다는 것을 알게 되었다. 심지어 평균값 자체를 산출하지 않는다고 했다. 척도 간 등간성이 확실하지 않은 상황에서 평균을 내는 것은 결과치를 왜곡할 수 있다는 이유에서였다. 물론 1점에서 5점 사이의 주관식 값으로 응답을 받은 거라면 평균을 낼 것이라고 했다. (이 기회에 저의 취재(?)를 응해주신 사회조사 담당 통계청 직원분께 감사의 말씀을...^^)  사실 10여년 간 5점 척도를 활용한 문항을 분석할 때 비율을 쓸지 평균을 쓸지 고민을 많이 했었다. 물론 선배 리서처들의 보고서에서 대부분 평균을 활용했길래 그걸 따라했었다. 그러나 오늘부터는 평균과 이별해야겠다.
자세한 내용 보기

NPS(Net Promoter Score)는 왜 간단한데 파워풀해졌을까? 척도 해석의 창의성에 대하여

이미지
 마케팅 서베이에서 단연 핫한 지수는 NPS(Net Promoter Score)일 것이다. 우리 말로 '순추천고객지수' 정도로 번역될 수 있겠는데 측정과 계산법이 매우 간단하지만 고객의 충성도를 잘 보여주는 척도로 인정받으며 다방면에서 활용되고 있다.  NPS에 대해 조금 더 자세히 설명하면 아래 그림과 같이 어떤 브랜드나 단체에 대해 다른 사람 혹은 지인에게 얼마나 추천할 의향이 있는지 묻고  0점부터 10점까지 11점 척도를 제시하여 응답을 받는 방식을 사용한다. 참조: https://www.zonkafeedback.com/blog/what-is-a-net-promoter-score-definition-and-examples 여기까지는 참 쉽고 이게 뭐 대단한거지 싶을 거다. 그러나 핵심은 11점 척도를 해석하는 데 있다. 보통 11점 척도를 활용할 경우 0점부터 4점을 부정적으로 5점을 중간, 6점부터 10점을 긍정적으로 해석한다. 뭐 백번 양보해도 0점부터 3점을 부정, 4점부터 6점을 중간, 7점부터 10점을 긍정적으로 해석할 뿐이다. 하지만 NPS에서는 정말 과감하게 0점부터 6점을 부정, 7점과 8점을 중간, 9점과 10점을 긍정으로 해석한다. 어찌보면 대단히 긍정과 부정이 불균형(?)적이다. 바로 이러한 불균형적 척도 해석이 NPS가 간단하지만 파워풀한 지수가 되게 한 일등 공신이 된 것이다. 기다 아니다가 명확한 2점 척도가 아닌 이상 지금까지는 척도 해석을 매우 대칭적 혹은 균형적으로 해왔다. 예를 들면 요소별 중요성 정도를 5점, 7점, 11점 등의 척도 보기로 측정할 경우 99%의 연구자는 중간 보기를 기점으로 왼쪽은 부정, 오른쪽은 긍정 정도로 해석한 것이다. 그러나 위의 NPS에서 보듯이 반드시 이러한 균형적(?)인 해석이 실제로 지수로서 파워를 가지는가는 별도의 문제다. 오히려 5점 척도의 경우면 1점부터 3점까지 부정, 4점은 중간, 5점만 긍정으로 해석하는 것이 더 좋은 결론을 낼 수도 있을 것이...
자세한 내용 보기

우리나라는 조사회사가 너무 많고, 선거여론조사도 너무 많이 하는걸까?

이미지
 언론에서 우리나라는 조사회사가 너무 많고, 선거여론조사도 너무 많이 한다고들 한다. 그래서 최근 대선 여론조사를 기준으로 미국과 비교해보았다. 결과는 아래와 같다. 미국보다 전국 기준으로 보면 거의 비슷하지만 미국의 경우 주별 조사가 더 많은 걸 고려하면 미국보다 훨씬 적다고 할 수 있다. 조사회사수는 오히려 미국보다 적었다. 보도할 때 팩트체크는 하고 합시다.... 아 출처는 한국은 여심위 백서이고, 미국은 fivethirtyeight 사이트를 참고하여 제가 가공하여 산출한 것입니다.
자세한 내용 보기