NPS(Net Promoter Score)는 왜 간단한데 파워풀해졌을까? 척도 해석의 창의성에 대하여

 마케팅 서베이에서 단연 핫한 지수는 NPS(Net Promoter Score)일 것이다. 우리 말로 '순추천고객지수' 정도로 번역될 수 있겠는데 측정과 계산법이 매우 간단하지만 고객의 충성도를 잘 보여주는 척도로 인정받으며 다방면에서 활용되고 있다. 

NPS에 대해 조금 더 자세히 설명하면 아래 그림과 같이 어떤 브랜드나 단체에 대해 다른 사람 혹은 지인에게 얼마나 추천할 의향이 있는지 묻고  0점부터 10점까지 11점 척도를 제시하여 응답을 받는 방식을 사용한다.

참조: https://www.zonkafeedback.com/blog/what-is-a-net-promoter-score-definition-and-examples

여기까지는 참 쉽고 이게 뭐 대단한거지 싶을 거다.

그러나 핵심은 11점 척도를 해석하는 데 있다. 보통 11점 척도를 활용할 경우 0점부터 4점을 부정적으로 5점을 중간, 6점부터 10점을 긍정적으로 해석한다. 뭐 백번 양보해도 0점부터 3점을 부정, 4점부터 6점을 중간, 7점부터 10점을 긍정적으로 해석할 뿐이다.

하지만 NPS에서는 정말 과감하게 0점부터 6점을 부정, 7점과 8점을 중간, 9점과 10점을 긍정으로 해석한다. 어찌보면 대단히 긍정과 부정이 불균형(?)적이다. 바로 이러한 불균형적 척도 해석이 NPS가 간단하지만 파워풀한 지수가 되게 한 일등 공신이 된 것이다.

기다 아니다가 명확한 2점 척도가 아닌 이상 지금까지는 척도 해석을 매우 대칭적 혹은 균형적으로 해왔다. 예를 들면 요소별 중요성 정도를 5점, 7점, 11점 등의 척도 보기로 측정할 경우 99%의 연구자는 중간 보기를 기점으로 왼쪽은 부정, 오른쪽은 긍정 정도로 해석한 것이다. 그러나 위의 NPS에서 보듯이 반드시 이러한 균형적(?)인 해석이 실제로 지수로서 파워를 가지는가는 별도의 문제다. 오히려 5점 척도의 경우면 1점부터 3점까지 부정, 4점은 중간, 5점만 긍정으로 해석하는 것이 더 좋은 결론을 낼 수도 있을 것이다.

낮아지는 응답률...전화조사가 살아남으려면?

우리나라 뿐만 아니라 전 세계적으로 전화조사는 고전을 면치 못하고 있다. 몇 번의 선거 예측을 실패하였고, 응답율은 자꾸 낮아져가며, 웹조사 등의 도전에 직면하고 있는 형국이다.

아래 논문은 지난 20년의 전화조사 자료 몇 건을 풀링하여 계량적으로 그 퀄리티를 검증하였는데, 지난 20년 중 최근 5년의 전화조사 데이터에 상당히 문제가 있었지만, 사후 가중치를 잘 줄 경우 문제의 상당 부분을 해결할 수 있었다는 결론을 내고 있다.

이는 우리나라 전화조사에도 해당되는 것이라고 본다. 그나마 이 논문에서 풀링한 조사 자료가 확률추출을 한 것이라고 본다면 비확률추출을 하는 우리나라 전화조사는 그 문제가 더 심각할 것이다.

결국은 가중치를 정교하게 개발하는 것 외에는 방법이 없어 보인다.

현재 지역, 성, 연령 정도만 주고 있는데 이것으로는 어림도 없다.

또 하나는 휴대전화 비율 문제인데, 이 논문에서 휴대전화 비율(온리 휴대전화 이용자 비율)이 주요 변인으로 작동하고 있다. 사실 우리나라에서는 안심번호 등이 도입되면서 집전화 조사는 점점 비율이 낮아지고 있는 추세이다. 이 부분에 대한 확인도 필요하다.

웹조사에서 주관식 문항 무응답을 낮추려면?

학창 시절을 떠올려보자.
시험문제에 주관식이 나올 때 기분이 어땠습니까?

인지상정이다. 웹조사에서도 주관식 문항은 응답자에게 큰 부담을 준다.
그래서 주관식 응답에서 무응답을 낮추려면 어떻게 해야하는지에 대한 관심도 높다.

아래 논문은 이와 관련한 것으로 결론적으로 주관식 응답의 무응답 비율을 낮추려면 응답칸의 크기를 줄이라고 조언한다. 응답칸이 크면 뭔가 많이 적어야할거 같은 압박(?)을 주기 때문이다. 이 논문에 따르면 주관식 문항의 보기 박스를 줄이고, 길게 쓰지 않아도 된다는 문구를 넣어주는게 좋다고 한다.

웹조사에서 이모티콘 활용하면 안되나요?

웹조사의 재미(?)를 위해 그림이나 이모티콘을 활용하고자 하는 시도는 많았고, 현재도 꽤 많은 조사에서 활용되고 있다. 그러나 그 효과에 대한 연구는 거의 없었다. 아래 논문은 이에 대한 연구이다.

결론은 이모티콘 활용은 응답시간 증가만 가져올 뿐 응답의 퀄리티에 어떤 영향도 주지 못한다는 것이다. 괜한 이모티콘보다는 말이 백번 낫다는 거다.

쓰지 맙시다...^^

웹조사 시 몇 개 문항까지 조사 가능한가요? (2탄)

고객들이 가장 많이 물어보는 질문 중 하나는 웹조사 할 때 설문 길이를 어느 정도까지 할 수 있냐는 것이다. 사실 이에 대한 명확한 답은 없다. 하지만 이와 관련하여 재미있는 논문이 있어 소개하고자 한다.

결론부터 얘기하면 이 논문에서는 이상적인 설문 길이는 10분이고, 최대 설문 길이는 20분이라고 한다.

물론 현실에서 10분짜리 설문은 거의 하지 않는다. 나름 비싼 돈 내고 조사하는 것이다 보니 설문을 가급적 길게 하려고하기 때문이다. 그러나 최대 설문 길이는 20분을 지키는게 좋을 거 같다. 20분이 넘어가면 패널분들이 사례비를 올려도 조사하기를 꺼려하기 때문이다(패널에게 조사를 요청할 때 제목에 '조사명/예상응답시간/사례비'를 반드시 씀).

최적의 웹조사 포맷은?

아래 논문은 전국 조사 확률 표본 웹조사에서 분기(Branch), 그리드(Grid) 및 단일 항목(Single-Item) 질문 형식을 비교 한 실험 결과를 보고합니다. 응답 시간, 항목 무응답, 설문 조사 중단 비율, 응답 분포 및 기준 유효성 측면에서 세 가지 형식을 비교합니다. 평균적으로 그리드 형식이 가장 빠른 답을 얻었고 단일 항목 형식은 중간이며 분기 형식이 가장 오래 걸렸습니다. 항목 비 응답 비율은 단일 항목 형식의 경우 가장 낮고, 그리드의 경우 중간이고, 분기에서는 가장 높았지만, 이 결과는 전체 실험 설계를 모델링 할 때 통계적으로 유의하지 않았습니다. 형식 중 설문 조사 중단 비율은 통계적으로 구별 할 수 없습니다. 분기 형식에서 기준 유효성이 가장 낮았습니다. 그리드와 단일 항목 형식 사이에는 큰 차이가 없었습니다. 이 증거는 분기 형식이 인터넷 데이터 수집에 적합하지 않으며 단일 항목 및 짧고 잘 구성된 그리드가 더 나은 질문 형식임을 나타냅니다.

분기(Branch) 질문은 강도가 있는 바이폴라 척도를 일단은 2점 척도로 묻고, 그 다음에 매우인지 약간인지 강도를 묻는 방식입니다. 일종의 가지치기 설문입니다. 

그리드(Grid) 질문은 각 항목을 표에 넣어 한꺼번에 물어보는 방식으로 최근 웹조사에서 가장 많이 활용하고 있습니다.

단일 항목(Single-Item) 질문은 한 화면에 한 가지 질문만 묻는 방식입니다. 분기(Branch) 질문과는 다르게 강도가 있는 바이폴라 척도를 한 방에 묻는 방식입니다.

수상한 여론조사라구요?

과거 투표행태 문항은 수만가지 이유에서 정확한 답을 얻기 어려운 문항 중 하나이다. 승자 편향, 침묵의 나선, 브래들리 효과 등 아무튼 응답자의 응답에 거짓이 들어갈 확률이 매우 높다.

그래서 미국의 대표적인 여론기관인 갤럽이나 퓨리서치 정기여론조사에서도 과거 투표행태 문항은 없다.
(있었으면 미국에서도 트럼프에게 선거했다는 응답 비율이 실제보다 높은지 확인해보고 싶지만 그럴 수 없었음)

그러므로 아래 중앙일보 기사는 '탐사'를 가장한 '난사'일 뿐이다. 기사에서도 나오지만 현직 대통령을 찍었다는 응답은 이 정권 외에 어떤 정권에서도 실제 득표율보다 높았으니 말이다.

과거 투표행태 문항이 그렇다고 필요 없는 건 아니다. 전략을 세우거나 Likely Voter를 판별하는데 있어서는 필요한 문항이다.

알고 썼어도 나쁘고 모르고 썼어도 나쁜 기사이다.

[출처: 중앙일보] 수상한 여론조사···응답자 절반이 文투표층이었다

https://news.joins.com/article/23624366