유니폴라 척도에서 5점 척도란?

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 대체로 만족한다
 3. 보통이다
 4. 별로 만족하지 않는다
 5. 전혀 만족하지 않는다

  우리는 만족도 조사에서 이런 설문을 자주 본다. 대표적인 유니폴라 척도 문항이다. 그런데 이 설문에서 5점 척도를 이런식으로 쓰는 게 맞는걸까? 필자가 보기엔 아니다. 왜냐하면 보통이라는 의미가 모호하기 때문이다. 만족한다와 만족하지 않는다 사이에 논리적으로 무언가가 올 수 없다. 이런 문항의 경우 5점 척도를 유지하고 싶으면 아래와 같이 수정해야한다.

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 어느 정도 만족한다
 3. 조금 만족한다
 4. 별로 만족하지 않는다
 5. 전혀 만족하지 않는다


  반면 아래와 같은 바이폴라 척도 문항은 5점 척도를 쓰는게 맞는걸까? 이런 경우에는 5점 척도가 맞다. 여기서 보통이라는 의미는 만족하지도 불만족하지도 않는다는 중간 상황(mid point)을 의미하기 때문이다. 물론 가능하다면 보통이라는 워딩보다는 만족하지도 불만족하지도 않는다가 좋다.

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 대체로 만족한다
 3. 보통이다 -> 만족하지도 불만족하지도 않는다
 4. 대체로 불만족한다
 5. 매우 불만족한다

웹조사 PC는 지고, 스마트폰은 뜨고

  한국리서치는 올해 1월부터 웹서베이를 정기적으로 하면서 패널들에게 조사 요청을 이메일과 문자로 동시에 하였다. 패널들이 상황에 맞게 본인이 편한 루트로 들어와 조사를 진행하라는 취지에서 였다.

  그렇다면 패널들은 어떤 디바이스를 통해 주로 조사를 했을까? 지난 6개월치 자료를 분석해본 결과 PC로 웹조사한 비율은 30% 스마트폰으로 조사한 비율은 70%였다.
(참고로 정기조사는 120문항 내외로 응답시간은 평균 19분 정도였음)

  지금까지 스마트폰을 통한 웹조사에 대한 비판(?)이 많았다. 스마트폰으로는 긴 설문을 못할꺼야...PC로 한 것보다 성실성 면에서 떨어질거야 등이 그것이다. 그러나 원자료를 통해 비교해본 결과 디바이스에 따른 차이는 없었다.

  자 이제 결론은 나왔다. 스마트폰 웹조사 시대가 오고 있다. 아니 이미 왔다.

2018년 한국리서치 정기 웹조사 디바이스별 응답비율

	1월	2월	3월	4월	5월	6월
PC	35%	30%	27%	32%	30%	25%
스마트폰	65%	70%	73%	68%	70%	75%
전체	100%	100%	100%	100%	100%	100%

GPS를 통한 조사지점 샘플링?

  기술의 발달을 못 따라가는 분야 중 하나가 서베이 영역이다. 기술이 저만치 가면 그때서야 기웃거리는 형국이다. GPS 기술이 이미 상용화가 되었지만 누구 하나 이 기술을 샘플링에 활용하지 못했다. 이와 관련하여 기초적이지만 학문적으로 검토한 논문이 있어 소개하고자 한다.

  GPS는 조사 지점 리스트(일종의 표집틀)을 가지고 있기 때문에 충분히 조사지점 샘플링 자료로 활용이 가능하다고 본다.

썩어도 준치? 응답율 낮은 RDD 확률조사와 옵트인패널 웹조사의 비교

   응답율 낮은 RDD 확률조사와 옵트인패널 웹조사 중 어떤 조사가 더 나을까? 아래 논문은 이러한 질문에 대한 답을 주고 있다. 그러나 글을 읽어보면서 약간 문제가 있다는 생각이 들었다. 응답율 낮은 RDD 전화조사의 비교우위를 위해 너무 급이 낮은 웹조사를 가져온 거 아닐까 하는 의심이 들었다.

  여하튼 이 글은 결론은 썩어도 준치라는 것이다.

휴대전화 가상번호 사용 확대에 대하여

  현재 선거여론조사에 한하여 3사 이동통신사로부터 휴대전화 가상번호를 받을 수 있다. 구체적인 제도는 아래와 같다. 가상번호는 통신사에서 프로그램으로 만드는 가상의 번호를 말한다. 이 번호의 장점은 원래 전화번호가 노출되지 않는다는 점이다. 그런 점에서 안심번호라고도 불리운다.

  

  가상번호의 장점은 무엇일까?

  우선 이동통신사에서 가상번호를 받아보면 번호뿐만 아니라 성별과 연령대(예를들면 30대) 정보까지 있다. 그래서 할당조사 시 타겟을 정해서 재콜을 할 수 있는 장점이 있다.

  다음으로 표집틀의 투명성을 높일 수 있다. 조사회사마다 휴대전화 RDD 프로그램이 있지만 조금씩 다른데 비해 가상번호는 이동통신사에서 제공하는거라 그 기준이 명확할 수 밖에 없다.

  그렇다면 지금 제도의 문제점은 무엇일까?

  우선 용도를 공표나 보도 목적의 선거여론조사로 한정하면서 가상번호가 진정 필요한 시도나 시군구 단위의 지역조사에 활용할 수 없다. 전국 단위 못지 않게 지역에서도 여론조사 특히 전화여론조사에 대한 수요가 높다. 그러나 현재는 휴대전화를 활용하지 못해 집전화로만 조사하고 있는 상황이다. 당연히 대표성에 문제가 있을 수 밖에 없다.

  다음으로 제공된 가상번호로 문자를 보낼 수 없다는 한계가 있다. 현재 이통사에서 제공하는 가상번호는 오직 음성통화만 할 수 있다. 그래서 전화를 받지 않는 번호로 조사 독려 문자를 보낼 수 없다. 당연히 문자를 보낼 수 없으니 문자를 통해 url를 보내는 웹조사도 불가하다. 

  이와 관련하여 두 가지를 제안하고 싶다.

  첫째, 가상번호의 용도를 기타 사회조사로 확대했으면 한다. 무분별한 요청을 막기 위해서는 심사제도 같은 것을 마련할 수 있다.

  둘째, 가상번호로 문자를 보낼 수 있게 해야한다. 조사 참여 요청이나 웹조사 등을 위해서 이는 반드시 필요하다.

전화조사하면서 딴짓(?)하는 응답자, 괜찮은걸까요?

  전화면접조사를 하면서 응답자들은 멀티태스킹(딴짓?)을 얼마나 할까? 이게 응답의 질에 나쁜 영향을 줄까? 이에 대한 논문(아래 그림 참조)이 나와 소개한다.

  결론적으로 전화조사 응답자들은 과반 이상이 딴짓을 하고 있지만, 응답의 질에는 별 영향이 없었다.

서베이 모드 효과 실험조사 결과(웹조사 vs 전화면접조사)

  전화조사와 웹조사의 서베이 모드 효과를 알아보기 위해 아래와 같이 실험조사를 한국리서치에서 실시하였다. 표집틀은 한국리서치 액세스 패널이다. 순수한 모드 효과를 알아보기 위해 표집틀을 동일하게 하였다. CAWI는 PC를 통한 조사, CAMI는 스마트폰을 통한 조사, CATI는 전화면접조사를 의미한다.

  조사 결과를 보면 웹조사와 전화면접조사 간 모드 효과가 큰 것으로 나타났다. 전화면접조사의 경우 사회적 바람직성에 근거한 응답을 한 것으로 보인다. 

  *이 자료의 지적 소유권은 한국리서치가 가지고 있습니다. 무단 배포, 복사 행위는 법적으로 엄격히 금지되어 있음을 공지드립니다.

17개 시도별로 분석하려면 최소 몇 표본을 해야할까요?

  표본할당 차원에서 시도별로 유의미한 분석을 위해 몇 명 정도의 표본을 조사해야하는지에 대한 질문이 많다. 아무래도 조사 비용을 예상하기 위함일텐데 결론적으로 말하면 많이 조사할수록 좋은 것은 분명하다.

  하지만 조사 비용을 감안할 때 5,000명/10,000명/15,000명의 옵션으로 조사하면 시도별 분석이 가능하다고 본다. 그렇다면 왜 5,000명/10,000명/15,000명일까? 제곱근할당을 고려했을 때 최소 표본 지역인 세종시의 표본이 100명, 200명, 300명 가까이 되는 것을 고려했기 때문이다.

  5,000명을 조사할 경우 세종시를 100명 정도 확보할 수 있고, 서울이나 경기는 600명, 700명 정도 확보할 수 있다.

  10,000명을 조사할 경우 세종시를 200명 정도 확보할 수 있고, 서울이나 경기는 1,200명, 1,300명 정도 확보할 수 있다.

  15,000명을 조사할 경우 세종시를 300명 정도 확보할 수 있고, 서울이나 경기는 1,800명, 2,000명 정도 확보할 수 있다.

  표본수별 표집오차와 관련해서는 필자의 이전 블로그를 참고하기 바란다.

  https://method-survey.blogspot.com/2018/06/blog-post_19.html

웹서베이를 통한 '패널조사' 대중화?

  조사회사에서 실시하는 웹조사는 대부분 액세스 패널(일종의 조사를 허락한 회원)을 표집틀로 활용한다. 그러다 보니 일반 전화조사나 대면면접조사에 비해 같은 응답자를 고정하여 반복적으로 조사하는 '패널조사'에 매우 유리하다. 여기서 유리하다는 것은 응답 유지율이 높고 상대적으로 비용이 저렴하다는 뜻이다.

  우리나라에서 대규모로 시행되는 패널조사는 대부분 대면면접으로 진행되고 있고, 조사 비용도 억 단위로 매우 높은 편이다. 선거조사에서 활용한 적이 있는 전화조사를 통한 패널조사는 조사 비용은 상대적으로 높지 않았지만, 전화조사 성격상 질문 문항 수가 제한적이라는 단점이 있었다. 반면 웹조사를 통한 패널조사는 대면면접조사와 같이 긴 문항을 전화조사와 비슷하거나 낮은 비용으로 조사할 수 있는 강점이 있다.

  지금까지 실태조사가 아닌 주로 태도를 측정하는 선거조사나 사회조사에서 패널조사는 거의 이루어지지 못했다. 조사 성격상 많은 문항을 물어봐야하는데 대면면접조사로 할 경우 비용의 압박이 너무 크니 실행할 수 없었을 것이다. 웹조사는 이에 대한 대안이 될 수 있다.

  웹서베이를 통한 패널조사의 대중화가 멀지 않았다.

분석을 위해 정당지지 문항을 넣고 싶은데 가능한가요?

  어떤 설문이던 간에 지역, 성, 연령, 직업, 학력 외에 정파성을 알기 위한 문항으로 지지정당을 분석 변인으로 많이 활용한다. 예를 들어 에너지원에 대한 선호도 조사에서도 지지정당 문항이 필요할 수 있다. 정파성에 따라 에너지에 대한 태도가 다를 수 있기 때문이다. 에너지 뿐만 아니라 대부분의 사회조사에서 정파성은 중요한 변수일 것이다.

  그러나 선관위에서 지지정당 문항이 들어가면 선거여론조사라고 규정하면서 우리나라에서는 지지정당 문항을 공공기관 발주 여론조사에서 마음대로 넣을 수 없게 되었다. 넣을 수는 있지만 그 순간 선거여론조사로 규정되어 모든 설문 문항을 조사하기 3일전에 해당 지역 선관위에 신고를 해야한다. 재미(?)있는 것은 정치이념성향이나 대통령 직무평가 등 다른 정치적인 문항은 선거여론조사 문항이 아니라는 것이다. 그래서 필드에서는 사전신고를 하지 않으려고 정당지지 대신 정치이념이나 대통령 직무평가 문항으로 대체하고 있다.

  분석을 위한 정당지지도 문항을 이렇게까지 규제함으로써 사회조사 문항에서 정당 지지도 문항이 사라지고 있다. 이게 과연 정상적인 현상일까?

경마식 보도를 조장(?)하는 선관위?

  우리나라는 몇 년전부터 선거여론조사를 하려면 사전에 설문지와 함께 여론조사 신고서를 관할 선관위에 팩스(시대가 어느 시대인데...쩝)로 신고해야한다. 또한 보도를 하기 전에는 정해진 양식에 맞춰 해당 사이트에 등록을 해야한다. 부정적이고 무분별한 선거여론조사를 막기 위한 일종의 규제인 샘이다.

  그러나 이러한 규제는 그 순기능에도 불구하고 선거여론조사에 있어 경마식 보도를 조장(?)하는 결과를 보였다는게 필자 생각이다. 그 이유는 다음과 같다.

  우선 질문지 작성과 관련한 규제(선거여론조사기준 제6조)로 인해 후보자 지지도 이외에 다양하고 실험적인 설문 문항 개발이 사실상 불가능하게 되었다. 일례로 필자는 후보자 관련 부정적인 루머에 대해 유권자들이 인지하고 있는지, 그 루머가 선거에 영향을 미칠지 등에 대한 문항을 구성하였다가 지역 선관위로부터 해당 문항 삭제 요청을 받은 바 있다. 이 뿐 아니라 해당 후보자를 지지하는 이유와 지지하지 않는 이유 문항도 수정 요청을 받은 바 있다. 지지 이유의 보기와 지지하지 않는 이유의 보기가 주관적이라는 이유에서 였다. 설문 문항을 만들어본 사람이라면 이유 문항의 보기는 가설에 따라 만들어지고 주관적일수 밖에 없다는 것을 너무나 잘 알 것이다. 결국 해당 문항은 삭제하고 조사하였다. 이런 상황에서 기발하고 전략적이며 재미있는 설문 개발이 가능하겠는가?

  다음으로 정량조사 이외에 실험조사라던지 새로운 방법론을 적용한 조사(예를 들면 페이스리더기를 통한 조사 등)를 하여 보도하는 것이 사실상 불가능하다. 이에 대해서는 긴 말 하지 않겠다. 실무자로서 이런 조사를 선관위에 어떻게 사전 신고를 해야하고, 또 보도 전에 어떻게 등록해야할지가 막막할 뿐이다. 이런 상황에서 뭘 기대할 수 있을까?

  이러한 규제 속에서 할 수 있는건 소위 경마식 보도라고 불리우는 지지도 조사 뿐이다. 지지도 조사도 물론 쉽지 않다. 경력을 틀리지 않아야하고 후보자를 불러줄 때 로테이션을 하거나 기호순으로 불러줘야한다. 그리고 보기에 지지하는 후보가 없다와 모르겠다도 반드시 면접원이 불러줘야한다. 그래도 이게 그나마 쉬운 일이다.

  혹시 재미있고 색다른 선거여론조사를 기대하는가? 단언컨데 지금 상황에서는 그런 조사를 할 수도 없고, 보도할 수도 없다.