낮아지는 응답률...전화조사가 살아남으려면?

우리나라 뿐만 아니라 전 세계적으로 전화조사는 고전을 면치 못하고 있다. 몇 번의 선거 예측을 실패하였고, 응답율은 자꾸 낮아져가며, 웹조사 등의 도전에 직면하고 있는 형국이다.

아래 논문은 지난 20년의 전화조사 자료 몇 건을 풀링하여 계량적으로 그 퀄리티를 검증하였는데, 지난 20년 중 최근 5년의 전화조사 데이터에 상당히 문제가 있었지만, 사후 가중치를 잘 줄 경우 문제의 상당 부분을 해결할 수 있었다는 결론을 내고 있다.

이는 우리나라 전화조사에도 해당되는 것이라고 본다. 그나마 이 논문에서 풀링한 조사 자료가 확률추출을 한 것이라고 본다면 비확률추출을 하는 우리나라 전화조사는 그 문제가 더 심각할 것이다.

결국은 가중치를 정교하게 개발하는 것 외에는 방법이 없어 보인다.

현재 지역, 성, 연령 정도만 주고 있는데 이것으로는 어림도 없다.

또 하나는 휴대전화 비율 문제인데, 이 논문에서 휴대전화 비율(온리 휴대전화 이용자 비율)이 주요 변인으로 작동하고 있다. 사실 우리나라에서는 안심번호 등이 도입되면서 집전화 조사는 점점 비율이 낮아지고 있는 추세이다. 이 부분에 대한 확인도 필요하다.

웹조사에서 주관식 문항 무응답을 낮추려면?

학창 시절을 떠올려보자.
시험문제에 주관식이 나올 때 기분이 어땠습니까?

인지상정이다. 웹조사에서도 주관식 문항은 응답자에게 큰 부담을 준다.
그래서 주관식 응답에서 무응답을 낮추려면 어떻게 해야하는지에 대한 관심도 높다.

아래 논문은 이와 관련한 것으로 결론적으로 주관식 응답의 무응답 비율을 낮추려면 응답칸의 크기를 줄이라고 조언한다. 응답칸이 크면 뭔가 많이 적어야할거 같은 압박(?)을 주기 때문이다. 이 논문에 따르면 주관식 문항의 보기 박스를 줄이고, 길게 쓰지 않아도 된다는 문구를 넣어주는게 좋다고 한다.

웹조사에서 이모티콘 활용하면 안되나요?

웹조사의 재미(?)를 위해 그림이나 이모티콘을 활용하고자 하는 시도는 많았고, 현재도 꽤 많은 조사에서 활용되고 있다. 그러나 그 효과에 대한 연구는 거의 없었다. 아래 논문은 이에 대한 연구이다.

결론은 이모티콘 활용은 응답시간 증가만 가져올 뿐 응답의 퀄리티에 어떤 영향도 주지 못한다는 것이다. 괜한 이모티콘보다는 말이 백번 낫다는 거다.

쓰지 맙시다...^^

웹조사 시 몇 개 문항까지 조사 가능한가요? (2탄)

고객들이 가장 많이 물어보는 질문 중 하나는 웹조사 할 때 설문 길이를 어느 정도까지 할 수 있냐는 것이다. 사실 이에 대한 명확한 답은 없다. 하지만 이와 관련하여 재미있는 논문이 있어 소개하고자 한다.

결론부터 얘기하면 이 논문에서는 이상적인 설문 길이는 10분이고, 최대 설문 길이는 20분이라고 한다.

물론 현실에서 10분짜리 설문은 거의 하지 않는다. 나름 비싼 돈 내고 조사하는 것이다 보니 설문을 가급적 길게 하려고하기 때문이다. 그러나 최대 설문 길이는 20분을 지키는게 좋을 거 같다. 20분이 넘어가면 패널분들이 사례비를 올려도 조사하기를 꺼려하기 때문이다(패널에게 조사를 요청할 때 제목에 '조사명/예상응답시간/사례비'를 반드시 씀).

최적의 웹조사 포맷은?

아래 논문은 전국 조사 확률 표본 웹조사에서 분기(Branch), 그리드(Grid) 및 단일 항목(Single-Item) 질문 형식을 비교 한 실험 결과를 보고합니다. 응답 시간, 항목 무응답, 설문 조사 중단 비율, 응답 분포 및 기준 유효성 측면에서 세 가지 형식을 비교합니다. 평균적으로 그리드 형식이 가장 빠른 답을 얻었고 단일 항목 형식은 중간이며 분기 형식이 가장 오래 걸렸습니다. 항목 비 응답 비율은 단일 항목 형식의 경우 가장 낮고, 그리드의 경우 중간이고, 분기에서는 가장 높았지만, 이 결과는 전체 실험 설계를 모델링 할 때 통계적으로 유의하지 않았습니다. 형식 중 설문 조사 중단 비율은 통계적으로 구별 할 수 없습니다. 분기 형식에서 기준 유효성이 가장 낮았습니다. 그리드와 단일 항목 형식 사이에는 큰 차이가 없었습니다. 이 증거는 분기 형식이 인터넷 데이터 수집에 적합하지 않으며 단일 항목 및 짧고 잘 구성된 그리드가 더 나은 질문 형식임을 나타냅니다.

분기(Branch) 질문은 강도가 있는 바이폴라 척도를 일단은 2점 척도로 묻고, 그 다음에 매우인지 약간인지 강도를 묻는 방식입니다. 일종의 가지치기 설문입니다. 

그리드(Grid) 질문은 각 항목을 표에 넣어 한꺼번에 물어보는 방식으로 최근 웹조사에서 가장 많이 활용하고 있습니다.

단일 항목(Single-Item) 질문은 한 화면에 한 가지 질문만 묻는 방식입니다. 분기(Branch) 질문과는 다르게 강도가 있는 바이폴라 척도를 한 방에 묻는 방식입니다.

수상한 여론조사라구요?

과거 투표행태 문항은 수만가지 이유에서 정확한 답을 얻기 어려운 문항 중 하나이다. 승자 편향, 침묵의 나선, 브래들리 효과 등 아무튼 응답자의 응답에 거짓이 들어갈 확률이 매우 높다.

그래서 미국의 대표적인 여론기관인 갤럽이나 퓨리서치 정기여론조사에서도 과거 투표행태 문항은 없다.
(있었으면 미국에서도 트럼프에게 선거했다는 응답 비율이 실제보다 높은지 확인해보고 싶지만 그럴 수 없었음)

그러므로 아래 중앙일보 기사는 '탐사'를 가장한 '난사'일 뿐이다. 기사에서도 나오지만 현직 대통령을 찍었다는 응답은 이 정권 외에 어떤 정권에서도 실제 득표율보다 높았으니 말이다.

과거 투표행태 문항이 그렇다고 필요 없는 건 아니다. 전략을 세우거나 Likely Voter를 판별하는데 있어서는 필요한 문항이다.

알고 썼어도 나쁘고 모르고 썼어도 나쁜 기사이다.

[출처: 중앙일보] 수상한 여론조사···응답자 절반이 文투표층이었다

https://news.joins.com/article/23624366

웹조사 연속척도 다음에 모르겠다나 해당없음을 그냥 붙여도 될까요?

웹조사 응답자들의 인지 과정 중 보기를 볼 때 가운데 지점(mid-point)에 더 집중하고 더 응답하는 경향이 있다는 것은 익히 알고 있는 사실이다.

이 논문은 이에 대해 실험조사를 한 것으로 이러한 가설을 검증하였다는 점에서 의미가 크다. 아이트랙커를 활용하여 실제 눈이 머문 시간까지 측정했다고 하니 놀라울 따름이다.

조금 더 자세히 보자.

아래 설문은 보통 많이 활용하는 방식이다. 5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것이다. 문제는 이렇게 배치하면서 중간포인트가 Too little이 되었다는 데 있다.

위 문항과 비교했을 때 아래 문항은 모르겠다와 의견 없음을 공간적으로 분리하면서 중간포인트가 About the right amount가 되었다.

아래 문항은 위 문항과 비슷한데 공간이 아닌 선으로 구분을 하였다. 역시 중간포인트가 About the right amount가 되었다.

그렇다면 위 세 개의 문항은 어떤 차이를 보였을까?

우선 응답 경향을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것)와 두 번째(모르겠다와 의견 없음을 공간적으로 분리) 문항에서 4번 Too little에 더 많이 응답한 것을 볼 수 있다. 반면 세 번째(모르겠다와 의견 없음을 선으로 구분)는 4번 문항에 상대적으로 적게 응답하였다.
중간포인트인 3번 About the right amount는 세 번째 조건에서 가장 많이 응답하였다.

모르겠다와 의견 없음에 집중한 시간을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것) 문항에서 가장 길었고, 다음으로 두 번째(모르겠다와 의견 없음을 공간적으로 분리), 세 번째(모르겠다와 의견 없음을 선으로 구분) 문항 순이었다. 단 그 차이는 통계적으로 유의하지 않았다.

이 논문에서는 세 가지 포맷의 문항 중 뭐가 가장 적합하다는 결론을 내지는 않고 그냥 응답값이 다를 수 있다 정도로 마무리하고 있다. 그러나 필자가 볼 때는 세 번째 즉 5점 척도이후 모르겠다와 의견 없음을 선으로 구분하는 포맷이 가장 적합한 응답을 받는 것이라는 생각이 든다.