웹조사를 채팅 스타일로 하면 어떨까?

  웹조사가 보편화되면서 다양한 방식의 웹조사가 시도되고 있다. 그 중 최근 주목받고 있는 것이 채팅 스타일의 웹설문 포맷이다. 일반적인 웹조사는 url을 누르고 버튼 방식으로 보기를 누르는 식으로 진행되지만 채팅 스타일의 웹조사는 마치 카톡에서 대화를 나누듯이 조사를 진행한다. 그렇다면 이러한 채팅 스타일은 웹조사 응답 퀄리티에 어떤 영향을 주는걸까?

 이와 관련하여 최근 연구 논문이 있어 소개하고자 한다. 아래 논문의 결론은 채팅 방식의 웹설문이 일반적인 방식에 비해 뭐 하나 딱히 나은게 없다는 것이다. 물론 향후 더 많은 테스트가 필요하겠지만 내 생각에도 굳이 채팅 방식으로 설문을 하는 것이 뭐가 그리 더 좋을지는 회의적이다.

웹조사 시 오픈 응답 박스에 로렘 입숨(lorem ipsum; 모형의 채움 글)이 효과가 있을까?

 웹조사는 전화조사와는 달리 자기 기입 조사이고 문항 수를 조금 많이 가지고 갈 수 있는 장점이 있어 오픈 문항을 많이 활용한다. 오픈 문항은 쉽게 말해 주관식 문항이다. 아무래도 보기가 있는 문항보다 응답자에게 부담을 많이 주는 특성 때문에 응답의 질이 낮은 게 당연하다. 이러한 이유로 연구자들은 어떻게 하면 오픈 응답의 질을 높일 수 있을지에 대해 많이 고민했고, 여기에 소개하는 로렘 입숨(lorem ipsum; 모형의 채움 글)은 그 한 예이다.

로렘 입숨(lorem ipsum; 모형의 채움 글)에는 여러 종류가 있지만 대략 아래와 같이 b, c, d 세 종류가 일반적이다. a는 로렘 입숨이 없는 일반적인 박스 형태이다.

 그렇다면 과연 로렘 입숨(lorem ipsum; 모형의 채움 글)은 응답의 질 제고에 효과가 있을까?

최근 이와 관련한 아래 논문에서는 효과가 없다는 것이다. 효과가 없을 뿐 아니라 잘못하면 응답자의 부담만 가중하는 역효과도 있을 수 있다는게 이 논문의 결론이다.

그냥 자연스러운게 가장 좋은 웹설문 포맷인거 같다는 생각이 든다.

[엉뚱생각] 카카오가 '웹조사 패널'(일명 카카오 피플즈?)를 만들면?

 

 2018년에 '[엉뚱생각] 카카오가 웹조사 시장에 뛰어들어 일명 '카카오서베이'를 만들면?'(https://method-survey.blogspot.com/2018/11/blog-post_73.html)이라는 포스팅을 올린 적이 있다. 내용을 요약하면 우리나라 스마트폰 이용자의 대다수가 사용하는 카카오톡을 활용하여 카카오가 서베이를 하면 여러가지 면에서 대박이 날수 있겠다는 내용이었다.

 그러나 내가 한 가지 간과한 것이 있었다. 바로 서베이 회사를 직접 만들 때 카카오가 감당해야 할 '위험성'이다. 예를 들어 누군가가 민감한 내용의 여론조사를 카카오 서베이에 의뢰하여 진행했고, 이를 언론 보도하여 그 결과가 논란이 될 경우 카카오 서베이는 사람들 입에서 오르내리게 되고 조사 결과가 공정하니 아니니 등의 '욕'을 고스란히 먹을 수 있다. 오서독스한 조사회사야 그런 '욕'을 먹는게 상당히 흔한 상황일 줄 모르나 카카오의 경우는 상당히 부담일 것이다.

 그렇다면 카카오는 서베이를 그냥 안하는 게 나은 것인가? 그건 아니라고 본다. 그래서 내가 새롭게 생각해 본 것은 '웹조사 패널' 회사를 만드는 것이다. 서베이 회사와 패널 회사 뭐가 다른거야라고 생각하실 수 있다. 그러나 이건 완전 다르다. 조사 패널을 회사는 그야 말로 웹조사 표집틀인 '패널'을 대여해주는 회사이다. 즉 조사 주체가 되는 것은 이 패널을 활용하여 조사한 회사나 개인이 되는 것이다. 예를 들어 내가 소속되어 있는 한국리서치가 '카카오 패널'을 활용하여 웹조사를 할 경우 조사 관련한 대부분의 책임은 한국리서치가 지게 되는 것이다.

  카카오는 카카오톡이라는 대한민국 대다수가 활용하는 어플을 가진 회사이다. 카톡 특성상 전화번호와 개인의 성별 등 개인정보도 보유하고 있다. 가입자 동의를 통해 이 회원들을 '패널'화 한다면 이는 국내뿐 아니라 전 세계적으로도 유례없는 웹조사 패널이 될 수 있을 것이다.

 엉뚱한 상상을 해 보는 김에 카카오 패널의 이름도 지어 봤다. 카카오 프렌즈에서 영감을 받아 '카카오 피플즈'......

 

NPS(Net Promoter Score)는 왜 간단한데 파워풀해졌을까? 척도 해석의 창의성에 대하여

 마케팅 서베이에서 단연 핫한 지수는 NPS(Net Promoter Score)일 것이다. 우리 말로 '순추천고객지수' 정도로 번역될 수 있겠는데 측정과 계산법이 매우 간단하지만 고객의 충성도를 잘 보여주는 척도로 인정받으며 다방면에서 활용되고 있다. 

NPS에 대해 조금 더 자세히 설명하면 아래 그림과 같이 어떤 브랜드나 단체에 대해 다른 사람 혹은 지인에게 얼마나 추천할 의향이 있는지 묻고  0점부터 10점까지 11점 척도를 제시하여 응답을 받는 방식을 사용한다.

참조: https://www.zonkafeedback.com/blog/what-is-a-net-promoter-score-definition-and-examples

여기까지는 참 쉽고 이게 뭐 대단한거지 싶을 거다.

그러나 핵심은 11점 척도를 해석하는 데 있다. 보통 11점 척도를 활용할 경우 0점부터 4점을 부정적으로 5점을 중간, 6점부터 10점을 긍정적으로 해석한다. 뭐 백번 양보해도 0점부터 3점을 부정, 4점부터 6점을 중간, 7점부터 10점을 긍정적으로 해석할 뿐이다.

하지만 NPS에서는 정말 과감하게 0점부터 6점을 부정, 7점과 8점을 중간, 9점과 10점을 긍정으로 해석한다. 어찌보면 대단히 긍정과 부정이 불균형(?)적이다. 바로 이러한 불균형적 척도 해석이 NPS가 간단하지만 파워풀한 지수가 되게 한 일등 공신이 된 것이다.

기다 아니다가 명확한 2점 척도가 아닌 이상 지금까지는 척도 해석을 매우 대칭적 혹은 균형적으로 해왔다. 예를 들면 요소별 중요성 정도를 5점, 7점, 11점 등의 척도 보기로 측정할 경우 99%의 연구자는 중간 보기를 기점으로 왼쪽은 부정, 오른쪽은 긍정 정도로 해석한 것이다. 그러나 위의 NPS에서 보듯이 반드시 이러한 균형적(?)인 해석이 실제로 지수로서 파워를 가지는가는 별도의 문제다. 오히려 5점 척도의 경우면 1점부터 3점까지 부정, 4점은 중간, 5점만 긍정으로 해석하는 것이 더 좋은 결론을 낼 수도 있을 것이다.

낮아지는 응답률...전화조사가 살아남으려면?

우리나라 뿐만 아니라 전 세계적으로 전화조사는 고전을 면치 못하고 있다. 몇 번의 선거 예측을 실패하였고, 응답율은 자꾸 낮아져가며, 웹조사 등의 도전에 직면하고 있는 형국이다.

아래 논문은 지난 20년의 전화조사 자료 몇 건을 풀링하여 계량적으로 그 퀄리티를 검증하였는데, 지난 20년 중 최근 5년의 전화조사 데이터에 상당히 문제가 있었지만, 사후 가중치를 잘 줄 경우 문제의 상당 부분을 해결할 수 있었다는 결론을 내고 있다.

이는 우리나라 전화조사에도 해당되는 것이라고 본다. 그나마 이 논문에서 풀링한 조사 자료가 확률추출을 한 것이라고 본다면 비확률추출을 하는 우리나라 전화조사는 그 문제가 더 심각할 것이다.

결국은 가중치를 정교하게 개발하는 것 외에는 방법이 없어 보인다.

현재 지역, 성, 연령 정도만 주고 있는데 이것으로는 어림도 없다.

또 하나는 휴대전화 비율 문제인데, 이 논문에서 휴대전화 비율(온리 휴대전화 이용자 비율)이 주요 변인으로 작동하고 있다. 사실 우리나라에서는 안심번호 등이 도입되면서 집전화 조사는 점점 비율이 낮아지고 있는 추세이다. 이 부분에 대한 확인도 필요하다.

웹조사에서 주관식 문항 무응답을 낮추려면?

학창 시절을 떠올려보자.
시험문제에 주관식이 나올 때 기분이 어땠습니까?

인지상정이다. 웹조사에서도 주관식 문항은 응답자에게 큰 부담을 준다.
그래서 주관식 응답에서 무응답을 낮추려면 어떻게 해야하는지에 대한 관심도 높다.

아래 논문은 이와 관련한 것으로 결론적으로 주관식 응답의 무응답 비율을 낮추려면 응답칸의 크기를 줄이라고 조언한다. 응답칸이 크면 뭔가 많이 적어야할거 같은 압박(?)을 주기 때문이다. 이 논문에 따르면 주관식 문항의 보기 박스를 줄이고, 길게 쓰지 않아도 된다는 문구를 넣어주는게 좋다고 한다.

웹조사에서 이모티콘 활용하면 안되나요?

웹조사의 재미(?)를 위해 그림이나 이모티콘을 활용하고자 하는 시도는 많았고, 현재도 꽤 많은 조사에서 활용되고 있다. 그러나 그 효과에 대한 연구는 거의 없었다. 아래 논문은 이에 대한 연구이다.

결론은 이모티콘 활용은 응답시간 증가만 가져올 뿐 응답의 퀄리티에 어떤 영향도 주지 못한다는 것이다. 괜한 이모티콘보다는 말이 백번 낫다는 거다.

쓰지 맙시다...^^

웹조사 시 몇 개 문항까지 조사 가능한가요? (2탄)

고객들이 가장 많이 물어보는 질문 중 하나는 웹조사 할 때 설문 길이를 어느 정도까지 할 수 있냐는 것이다. 사실 이에 대한 명확한 답은 없다. 하지만 이와 관련하여 재미있는 논문이 있어 소개하고자 한다.

결론부터 얘기하면 이 논문에서는 이상적인 설문 길이는 10분이고, 최대 설문 길이는 20분이라고 한다.

물론 현실에서 10분짜리 설문은 거의 하지 않는다. 나름 비싼 돈 내고 조사하는 것이다 보니 설문을 가급적 길게 하려고하기 때문이다. 그러나 최대 설문 길이는 20분을 지키는게 좋을 거 같다. 20분이 넘어가면 패널분들이 사례비를 올려도 조사하기를 꺼려하기 때문이다(패널에게 조사를 요청할 때 제목에 '조사명/예상응답시간/사례비'를 반드시 씀).