낮아지는 응답률...전화조사가 살아남으려면?

우리나라 뿐만 아니라 전 세계적으로 전화조사는 고전을 면치 못하고 있다. 몇 번의 선거 예측을 실패하였고, 응답율은 자꾸 낮아져가며, 웹조사 등의 도전에 직면하고 있는 형국이다.

아래 논문은 지난 20년의 전화조사 자료 몇 건을 풀링하여 계량적으로 그 퀄리티를 검증하였는데, 지난 20년 중 최근 5년의 전화조사 데이터에 상당히 문제가 있었지만, 사후 가중치를 잘 줄 경우 문제의 상당 부분을 해결할 수 있었다는 결론을 내고 있다.

이는 우리나라 전화조사에도 해당되는 것이라고 본다. 그나마 이 논문에서 풀링한 조사 자료가 확률추출을 한 것이라고 본다면 비확률추출을 하는 우리나라 전화조사는 그 문제가 더 심각할 것이다.

결국은 가중치를 정교하게 개발하는 것 외에는 방법이 없어 보인다.

현재 지역, 성, 연령 정도만 주고 있는데 이것으로는 어림도 없다.

또 하나는 휴대전화 비율 문제인데, 이 논문에서 휴대전화 비율(온리 휴대전화 이용자 비율)이 주요 변인으로 작동하고 있다. 사실 우리나라에서는 안심번호 등이 도입되면서 집전화 조사는 점점 비율이 낮아지고 있는 추세이다. 이 부분에 대한 확인도 필요하다.

웹조사에서 주관식 문항 무응답을 낮추려면?

학창 시절을 떠올려보자.
시험문제에 주관식이 나올 때 기분이 어땠습니까?

인지상정이다. 웹조사에서도 주관식 문항은 응답자에게 큰 부담을 준다.
그래서 주관식 응답에서 무응답을 낮추려면 어떻게 해야하는지에 대한 관심도 높다.

아래 논문은 이와 관련한 것으로 결론적으로 주관식 응답의 무응답 비율을 낮추려면 응답칸의 크기를 줄이라고 조언한다. 응답칸이 크면 뭔가 많이 적어야할거 같은 압박(?)을 주기 때문이다. 이 논문에 따르면 주관식 문항의 보기 박스를 줄이고, 길게 쓰지 않아도 된다는 문구를 넣어주는게 좋다고 한다.

웹조사에서 이모티콘 활용하면 안되나요?

웹조사의 재미(?)를 위해 그림이나 이모티콘을 활용하고자 하는 시도는 많았고, 현재도 꽤 많은 조사에서 활용되고 있다. 그러나 그 효과에 대한 연구는 거의 없었다. 아래 논문은 이에 대한 연구이다.

결론은 이모티콘 활용은 응답시간 증가만 가져올 뿐 응답의 퀄리티에 어떤 영향도 주지 못한다는 것이다. 괜한 이모티콘보다는 말이 백번 낫다는 거다.

쓰지 맙시다...^^

웹조사 시 몇 개 문항까지 조사 가능한가요? (2탄)

고객들이 가장 많이 물어보는 질문 중 하나는 웹조사 할 때 설문 길이를 어느 정도까지 할 수 있냐는 것이다. 사실 이에 대한 명확한 답은 없다. 하지만 이와 관련하여 재미있는 논문이 있어 소개하고자 한다.

결론부터 얘기하면 이 논문에서는 이상적인 설문 길이는 10분이고, 최대 설문 길이는 20분이라고 한다.

물론 현실에서 10분짜리 설문은 거의 하지 않는다. 나름 비싼 돈 내고 조사하는 것이다 보니 설문을 가급적 길게 하려고하기 때문이다. 그러나 최대 설문 길이는 20분을 지키는게 좋을 거 같다. 20분이 넘어가면 패널분들이 사례비를 올려도 조사하기를 꺼려하기 때문이다(패널에게 조사를 요청할 때 제목에 '조사명/예상응답시간/사례비'를 반드시 씀).