메소드서베이

   우리나라 여론조사에서 유독 많이 활용되는 단어가 있는데...그것은 '필요하다(반대로 필요하지 않다)'이다...그러나 설문지에서 이 단어를 활용하는 것에 대해서는 조심할 필요가 있어 보인다...   두 가지 설문과 그 결과로 예를 들어 설명해보겠다.   우선 아래 조사는 MBC-코리아리서치가 지난 9월 7,8일 실시한 여론조사 중 김건희 여사 특검 관련한 문항인데...'필요한지 필요하지 않은지'로 물어보았다. 결과는 필요하다 62.7%였다.   다음은 비슷한 시기에 SBS-넥스트리서치가 실시한 여론조사(9월 8,9일 실시)로 MBC와는 달리 필요여부로 묻지 않고 적절한지 여부로 물어보았다. 적절하다는 응답은 55% 였다.   비슷한 시기에 MBC와 SBS가 실시한 여론조사 모두 김건희 여사 특검과 관련한 조사를 하였고, 두 조사 모두 특검을 해야한다는 의견이 과반을 넘었지만 그 강도는 매우 다르다. MBC는 60%를 넘은 반면, SBS 조사에서는 과반을 약간 넘은 정도다.   그렇다면 이러한 차이는 왜 발생한 것인가? 예상대로 질문과 보기의 차이 때문일 것이다. 그러나 여기에는 '필요하다'의 마법(?)이 발동했다는 게 필자의 생각이다. 세상에 필요 없는 게 과연 얼마나 있을까? 왠만하면 필요한 거 아닐까?   그래서 결론은 대립되는 이슈를 물을 때 '필요한지 여부'로 물어보는 것에 대해서 다시 한 번 생각해 볼 필요가 있다는 것이다. 왜냐하면 왠만하면 '필요하다'는 보기가 더 많이 나올 확률이 높기 때문이다...   마지막으로 미국에서 총기 소유와 관련하여 아래와 같이 필요 여부로 문항을 만든다면 어떤 평가를 받을까?   "귀하께서는 개인이 총기를 소유하는 것이 필요하다고 생각하십니까? 아니면 필요하지 않다고 생각하십니까?"

  우리나라 통계청의 온라인조사 설문의 문제점은 무엇일까? 그것은 바로 어떤 조사던 상관없이 종이설문지 포맷과 최대한 비슷하게 프로그래밍 한다는데 있다.   아래 온라인조사 화면은 5년마다 시행하는 공무원총조사의 온라인 조사 화면이다. 보시다시피 종이설문지와 거의 동일하다는 것을 알 수 있다.    이게 왜 문제일까? 종이설문지와 동일하니 측정에 있어 모드효과를 최소화할 수 있어 좋은 거 아니야 하는 분들이 있을 수 있다. 물론 맞는 말이다. 그러나 측정에 있어 모드효과에 너무 집착한 나머지 여러가지 문제가 있다는 걸 간과한 거 같다.    무엇이 문제인가? 가장 큰 문제는 이러한 온라인 설문 포맷으로는 스마트폰 조사를 할 수 없다는 데 있다. 두 번째로는 프로그램이 상당히 무거워지면서 전체적으로 느리다. 이러한 문제로 인해 온라인조사에 접속했다가 조사를 끝까지 못하는 현상이 자주 발생한다. (통계청에서 하는 조사 온라인으로 접속해서 한 번만 해보면 이 문제는 누구나 알 수 있다)   그렇다면 해외는 어떨까? 대표적으로 미국의 ACS 조사를 보면 스마트폰에서도 조사가 가능하도록 페이지가 아닌 문항 베이스로 온라인 설문이 구성된 것을 볼 수 있다. 이러한 화면 구성은 현재 조사회사에서 진행하는 온라인 조사 화면과 동일하다. 종이설문지와는 구성이 완전히 다르다. 즉 온라인 설문에 맞게 구성된 것이다.   답은 보시다시피 명확하다. 우리나라 통계청은 온라인 설문을 종이설문지와 동일한 포맷으로 만들어야 한다는 환상(?)에서 깨어나야한다.

  내 조사의 품질을 올린다는 것은 무엇을 의미할까? 어려운 질문처럼 느껴지지만 답은 의외로 명확한데 조사 과정에서 발생하는 소위 네 가지 정도의 에러를 최소화하는 것이다. 네 가지 중 세가지는 대표성과 관련한 것이고, 나머지 하나는 측정과 관련한 것이다. <대표성 관련 에러> 1. Coverage Error 2. Sampling Error 3. Nonresponse Error <측정 관련 에러> 4. Measurment Error      최근 서베이 시장은 퀵하고 상대적으로 저렴한 DIY 웹서베이가 대세가 되었다. DIY 웹서베이는 설문은 의뢰하는 사람(즉 고객)이 만들고, 조사는 대규모 패널을 보유한 조사회사가 대행해주는 서비스를 말한다.   여기서 잠깐.........................................................이러한 서비스 구조에서 고객은 대표성과 관련한 세 가지 에러(Coverage Error, Sampling Error, Nonresponse Error)와 관련하여 개입이 가능할까? 답은 명확하다. 절대 개입할 수 없다. 패널을 보유한 조사회사가 해주는대로 할 뿐이다.   그렇다면 측정 관련한 에러(Measurment Error)는 어떠한가? 이 부분은 오롯이 고객 스스로가 책임져야한다. 즉 좋은 설문지를 만든다면(좋은 질문과 보기를 만든다면) 측정 에러의 대부분은 줄일 수 있다.   답은 나왔다.   DIY 웹조사가 판치는 세상에서 내 조사 품질을 올리려면?   설문지를 잘 만들어야한다는 것이다. 그냥 만들면 안된다. 잘 만들어야한다.     

  해외 특히 미국에서는 푸시웹조사(push-to-web survey)가 대세가 되어가고 있다. 전화조사의 몰락(?)이 이러한 현상을 부추겼다고 할 수 있다.   푸시웹조사란 무엇인가? 아래는 구글에서 푸시웹조사를 검색했을 때 나타나는 정의이다. 오프라인을 통해 응답자에게 1차적으로 접근하여 웹조사를 하도록 만드는 조사라고 하는 편이 가장 보편적인 정의일 것이다. What is a push to web survey? A push-to-web survey is  a quantitative data collection method in which offline contact modes are used to encourage sample members to go online and complete a web questionnaire .    핵심은 1차 접근을 어떻게 할 것이냐인데, 미국이나 유럽의 경우 일반적으로 우편(정확히는 우체국 등기)으로 1차 접근을 시도한다. 우편으로 하는 이유는 이것이 비용적으로나 시간적으로 가장 합리적인 수단이기 때문이다. 우편을 통해 인사말과 웹설문 참여 안내문을 보내고(대부분 5달러 내외의 돈을 동봉), 이후에 전화나 방문 등을 통해 조사한다. 즉 주 방법이 웹조사가 되는 것이고, 이에 응하지 않은 응답자의 경우에 웹조사가 아닌 방식으로 조사하는 것이다. 믹스모드 조사라고 불리는 최근의 방법의 대다수는 이 방식을 의미한다고 해도 과언이 아니다.   그렇다면 우리나라는 어떨까? 결론적으로 말하면 우리나라는 현재 푸시웹조사 측면에서는 완전히 '걸음마' 단계이다. 웹환경이 어느 나라보다 발달한 우리나라에서 왜 푸시웹조사가 걸음마 단계일까? 그것은 우편조사가 거의 불가한 환경에 그 원인이 있다. 우리나라는 표집틀의 문제로 인해 우편조사가 '거의' 불가능하다. 통계청에서 제공하는 표집틀인 조사구에서 제공하는 정보가 요도와 주소만 있고 가구주 이름이나 전화번호가 없기 때문에 우편조사가 불가능...

유럽조사협회(ESOMAR) 에서 변화한 온라인 조사 환경에 맞추어 온라인 패널을 통한 웹조사를 하려는 고객이 알아야 할 질문 37개를 발표하였습니다. https://esomar.org/code-and-guidelines/questions-for-users-and-buyers-of-online-sample 온라인 샘플 구매자를 위한 37가지 질문   회사 프로파일 1. 귀사는 시장 조사를 위해 온라인 샘플을 제공한 경험이 있습니까 ? 이 서비스를 제공하신 지 얼마나 되셨습니까 ? 다이렉트 마케팅 등 다른 용도로도 비슷한 서비스를 제공하나요 ? 만약 그렇다면 , 당신의 업무 중 시장 조사를 위한 비율은 어느 정도인가요 ?   2. 샘플링 알고리즘 및 관련 자동화 기능의 성능을 개발하고 모니터링해야 하는 담당 직원이 이 분야에 대한 지식과 경험을 가지고 있습니까 ? 일선 직원에게 샘플링 기술에 대한 어떤 교육을 제공합니까 ?   3. 다른 서비스는 어떤 게 있나요 ? 샘플만 취급합니까 , 아니면 광범위한 데이터 수집 및 분석 서비스를 제공합니까 ?   샘플 출처 및 리쿠르팅 4. 위의 광범위한 분류를 사용하여 온라인 샘플의 어떤 출처에서 참가자를 도출합니까 ?   5. 다음 중 독점적 또는 독점적 공급원이며 구매자에게 제공된 전체 샘플에서 각 공급원의 비율은 얼마입니까 ? ( 표본 제공자가 자산을 소유하고 있음을 의미한다고 가정합니다 . 표본제공자가 원래 다른 기업이 수집한 표본에 대한 접근권을 관리 / 제공하는 독점적 계약을 가지고 있다는 것을 의미한다고 가정한다 .)   6. 귀하가 설명한 각 출처에 대해 어떤 채용 채널을 사용하고 있습니까 ? 모집 과정은 ' 모든 사람에게 공개 ' 인가요 , 아니면 초청에 의해서만 진행되나요 ? 확률론적 방법을 사용하고 있습니까 ? 제휴 네트워크와 추천 프로그램을 어느 정도 사용하고 있습니까 ? 이 채널들을 사용하는 방법은 ...

 마케팅 영역에서 활발하던 웹조사 방법은 어느새 정치 사회 영역에도 깊숙이 자리를 잡아버렸다. 정치, 경제, 심리 등 다양한 사회과학 영역에서 뿐만 아니라 정치나 정책 영역에서도 이제는 웹조사가 소위 '대세'가 되고 있다.   웹조사는 응답 대상자에게 구조화된 웹설문 url을 보내고, 응답 대상자가 그 url에 접속하여 자기기입을 통해 조사를 진행하는 방식을 의미한다.   웹조사가 다 그게 그거 같겠지만 크게 네 가지 유형이 있는데 정리하면 다음과 같다.    (유형1) 조사회사나 연구소가 구축해 놓은 액세스 패널을 활용한 웹조사      (유형1-1) 구축한 액세스 패널이 옵트인 패널(한마디로 비확률추출 기반 패널)인 경우      (유형1-2) 구축한 액세스 패널이 확률추출기반 패널인 경우    (유형2) 특정 사이트 게시판이나 배너를 매개로 참여한 응답자를 활용한 웹조사      (유형2-1) 페이스북 등 소셜미디어를 통해 모집한 응답자인 경우      (유형2-2) 아마존의 Mturk 등 크라우드 소싱을 통해 모집한 응답자인 경우    (유형3) 오프라인 조사 등을 통해 모집한 응답자를 활용한 웹조사      (유형3-1) 전화면접조사를 통해 모집한 응답자인 경우      (유형3-2) 대면면접조사를 통해 모집한 응답자인 경우      (유형3-3) 우편조사를 통해 모집한 응답자인 경우    (유형4) 무작위로 생성한 무선전화(RDD)를 활용한 웹조사      (유형4-1) 무선전화 RDD에 문자를 보내 진행하는 웹조사      (유형4-2) 무선전화 RDD에 전화를 걸어 안내를 한 후 문자를 ...

 중앙여론조사심의위원회 홈페이지 등록 선거여론조사에서 아래와 같이 '모름/무응답'이란 항목을 매번 본다. '2021 선거여론조사 가이드북'에 나온 내용이니 당연하게 문제가 없다고 여기고 습관적으로 활용하고 있는 것이다. 그렇다면 정말 '모름/무응답'으로 표기하는 건 문제가 없는 것일까?????????????? <2021 선거여론조사 가이드북> 우선 '모름'과 '무응답'의 의미부터 알아보자. '모름'은 그야말로 해당 문항에 대해 '모르겠다'는 자기 표현이다. 예를 들어 어느 정당을 지지하는지 물어보고 정당 이름(지지정당 없음 포함)를 불러주었을 때 정말 모르겠다고 응답할 수 있다. 반면 '무응답'은 항목무응답 즉 해당 문항에 대해 응답을 받지 못한 결측치(Missing Data)를 의미하는 것으로 응답자의 의사표현이 아니다. 그러면 왜 이렇게 성격이 다른 모름/무응답을 같이 표기하는 것일까? 유추해보면 전화조사에서 CATI를 쓰지 않았던 과거에는 종이설문지를 조사원에게 나누어주고 종이설문지에 응답을 표기하게 하고, 표기한 설문지를 수거하여 입력원이 컴퓨터에 입력하는 과정에서 실수로 문항에 답을 표기하지 않았거나 혹은 해당 문항을 묻지 않고 넘어갔을 경우가 있었을 것이다. 이러한 이유로 무응답이라는 것이 발생했을 것이고 아마도 이를 따로 표기하기보다 모르겠다에 포함했을 개연성이 컸다고 본다.... 반대로 CATI 시스템을 활용하는 전화조사에서는 '무응답'은 절대로 나올 수 없다. 그러니 굳이 무응답이란 항목이 필요 없는 것이다. 그러면 앞으로 어떻게 하는 것이 좋을까? 한국갤럽과 같이 무응답 대신에 '응답거절'이라고 표기하는 것도 한 가지 대안이 될 수 있다고 본다.