메소드서베이

  내 조사의 품질을 올린다는 것은 무엇을 의미할까? 어려운 질문처럼 느껴지지만 답은 의외로 명확한데 조사 과정에서 발생하는 소위 네 가지 정도의 에러를 최소화하는 것이다. 네 가지 중 세가지는 대표성과 관련한 것이고, 나머지 하나는 측정과 관련한 것이다. <대표성 관련 에러> 1. Coverage Error 2. Sampling Error 3. Nonresponse Error <측정 관련 에러> 4. Measurment Error      최근 서베이 시장은 퀵하고 상대적으로 저렴한 DIY 웹서베이가 대세가 되었다. DIY 웹서베이는 설문은 의뢰하는 사람(즉 고객)이 만들고, 조사는 대규모 패널을 보유한 조사회사가 대행해주는 서비스를 말한다.   여기서 잠깐.........................................................이러한 서비스 구조에서 고객은 대표성과 관련한 세 가지 에러(Coverage Error, Sampling Error, Nonresponse Error)와 관련하여 개입이 가능할까? 답은 명확하다. 절대 개입할 수 없다. 패널을 보유한 조사회사가 해주는대로 할 뿐이다.   그렇다면 측정 관련한 에러(Measurment Error)는 어떠한가? 이 부분은 오롯이 고객 스스로가 책임져야한다. 즉 좋은 설문지를 만든다면(좋은 질문과 보기를 만든다면) 측정 에러의 대부분은 줄일 수 있다.   답은 나왔다.   DIY 웹조사가 판치는 세상에서 내 조사 품질을 올리려면?   설문지를 잘 만들어야한다는 것이다. 그냥 만들면 안된다. 잘 만들어야한다.     

  해외 특히 미국에서는 푸시웹조사(push-to-web survey)가 대세가 되어가고 있다. 전화조사의 몰락(?)이 이러한 현상을 부추겼다고 할 수 있다.   푸시웹조사란 무엇인가? 아래는 구글에서 푸시웹조사를 검색했을 때 나타나는 정의이다. 오프라인을 통해 응답자에게 1차적으로 접근하여 웹조사를 하도록 만드는 조사라고 하는 편이 가장 보편적인 정의일 것이다. What is a push to web survey? A push-to-web survey is  a quantitative data collection method in which offline contact modes are used to encourage sample members to go online and complete a web questionnaire .    핵심은 1차 접근을 어떻게 할 것이냐인데, 미국이나 유럽의 경우 일반적으로 우편(정확히는 우체국 등기)으로 1차 접근을 시도한다. 우편으로 하는 이유는 이것이 비용적으로나 시간적으로 가장 합리적인 수단이기 때문이다. 우편을 통해 인사말과 웹설문 참여 안내문을 보내고(대부분 5달러 내외의 돈을 동봉), 이후에 전화나 방문 등을 통해 조사한다. 즉 주 방법이 웹조사가 되는 것이고, 이에 응하지 않은 응답자의 경우에 웹조사가 아닌 방식으로 조사하는 것이다. 믹스모드 조사라고 불리는 최근의 방법의 대다수는 이 방식을 의미한다고 해도 과언이 아니다.   그렇다면 우리나라는 어떨까? 결론적으로 말하면 우리나라는 현재 푸시웹조사 측면에서는 완전히 '걸음마' 단계이다. 웹환경이 어느 나라보다 발달한 우리나라에서 왜 푸시웹조사가 걸음마 단계일까? 그것은 우편조사가 거의 불가한 환경에 그 원인이 있다. 우리나라는 표집틀의 문제로 인해 우편조사가 '거의' 불가능하다. 통계청에서 제공하는 표집틀인 조사구에서 제공하는 정보가 요도와 주소만 있고 가구주 이름이나 전화번호가 없기 때문에 우편조사가 불가능...

유럽조사협회(ESOMAR) 에서 변화한 온라인 조사 환경에 맞추어 온라인 패널을 통한 웹조사를 하려는 고객이 알아야 할 질문 37개를 발표하였습니다. https://esomar.org/code-and-guidelines/questions-for-users-and-buyers-of-online-sample 온라인 샘플 구매자를 위한 37가지 질문   회사 프로파일 1. 귀사는 시장 조사를 위해 온라인 샘플을 제공한 경험이 있습니까 ? 이 서비스를 제공하신 지 얼마나 되셨습니까 ? 다이렉트 마케팅 등 다른 용도로도 비슷한 서비스를 제공하나요 ? 만약 그렇다면 , 당신의 업무 중 시장 조사를 위한 비율은 어느 정도인가요 ?   2. 샘플링 알고리즘 및 관련 자동화 기능의 성능을 개발하고 모니터링해야 하는 담당 직원이 이 분야에 대한 지식과 경험을 가지고 있습니까 ? 일선 직원에게 샘플링 기술에 대한 어떤 교육을 제공합니까 ?   3. 다른 서비스는 어떤 게 있나요 ? 샘플만 취급합니까 , 아니면 광범위한 데이터 수집 및 분석 서비스를 제공합니까 ?   샘플 출처 및 리쿠르팅 4. 위의 광범위한 분류를 사용하여 온라인 샘플의 어떤 출처에서 참가자를 도출합니까 ?   5. 다음 중 독점적 또는 독점적 공급원이며 구매자에게 제공된 전체 샘플에서 각 공급원의 비율은 얼마입니까 ? ( 표본 제공자가 자산을 소유하고 있음을 의미한다고 가정합니다 . 표본제공자가 원래 다른 기업이 수집한 표본에 대한 접근권을 관리 / 제공하는 독점적 계약을 가지고 있다는 것을 의미한다고 가정한다 .)   6. 귀하가 설명한 각 출처에 대해 어떤 채용 채널을 사용하고 있습니까 ? 모집 과정은 ' 모든 사람에게 공개 ' 인가요 , 아니면 초청에 의해서만 진행되나요 ? 확률론적 방법을 사용하고 있습니까 ? 제휴 네트워크와 추천 프로그램을 어느 정도 사용하고 있습니까 ? 이 채널들을 사용하는 방법은 ...

 마케팅 영역에서 활발하던 웹조사 방법은 어느새 정치 사회 영역에도 깊숙이 자리를 잡아버렸다. 정치, 경제, 심리 등 다양한 사회과학 영역에서 뿐만 아니라 정치나 정책 영역에서도 이제는 웹조사가 소위 '대세'가 되고 있다.   웹조사는 응답 대상자에게 구조화된 웹설문 url을 보내고, 응답 대상자가 그 url에 접속하여 자기기입을 통해 조사를 진행하는 방식을 의미한다.   웹조사가 다 그게 그거 같겠지만 크게 네 가지 유형이 있는데 정리하면 다음과 같다.    (유형1) 조사회사나 연구소가 구축해 놓은 액세스 패널을 활용한 웹조사      (유형1-1) 구축한 액세스 패널이 옵트인 패널(한마디로 비확률추출 기반 패널)인 경우      (유형1-2) 구축한 액세스 패널이 확률추출기반 패널인 경우    (유형2) 특정 사이트 게시판이나 배너를 매개로 참여한 응답자를 활용한 웹조사      (유형2-1) 페이스북 등 소셜미디어를 통해 모집한 응답자인 경우      (유형2-2) 아마존의 Mturk 등 크라우드 소싱을 통해 모집한 응답자인 경우    (유형3) 오프라인 조사 등을 통해 모집한 응답자를 활용한 웹조사      (유형3-1) 전화면접조사를 통해 모집한 응답자인 경우      (유형3-2) 대면면접조사를 통해 모집한 응답자인 경우      (유형3-3) 우편조사를 통해 모집한 응답자인 경우    (유형4) 무작위로 생성한 무선전화(RDD)를 활용한 웹조사      (유형4-1) 무선전화 RDD에 문자를 보내 진행하는 웹조사      (유형4-2) 무선전화 RDD에 전화를 걸어 안내를 한 후 문자를 ...

 중앙여론조사심의위원회 홈페이지 등록 선거여론조사에서 아래와 같이 '모름/무응답'이란 항목을 매번 본다. '2021 선거여론조사 가이드북'에 나온 내용이니 당연하게 문제가 없다고 여기고 습관적으로 활용하고 있는 것이다. 그렇다면 정말 '모름/무응답'으로 표기하는 건 문제가 없는 것일까?????????????? <2021 선거여론조사 가이드북> 우선 '모름'과 '무응답'의 의미부터 알아보자. '모름'은 그야말로 해당 문항에 대해 '모르겠다'는 자기 표현이다. 예를 들어 어느 정당을 지지하는지 물어보고 정당 이름(지지정당 없음 포함)를 불러주었을 때 정말 모르겠다고 응답할 수 있다. 반면 '무응답'은 항목무응답 즉 해당 문항에 대해 응답을 받지 못한 결측치(Missing Data)를 의미하는 것으로 응답자의 의사표현이 아니다. 그러면 왜 이렇게 성격이 다른 모름/무응답을 같이 표기하는 것일까? 유추해보면 전화조사에서 CATI를 쓰지 않았던 과거에는 종이설문지를 조사원에게 나누어주고 종이설문지에 응답을 표기하게 하고, 표기한 설문지를 수거하여 입력원이 컴퓨터에 입력하는 과정에서 실수로 문항에 답을 표기하지 않았거나 혹은 해당 문항을 묻지 않고 넘어갔을 경우가 있었을 것이다. 이러한 이유로 무응답이라는 것이 발생했을 것이고 아마도 이를 따로 표기하기보다 모르겠다에 포함했을 개연성이 컸다고 본다.... 반대로 CATI 시스템을 활용하는 전화조사에서는 '무응답'은 절대로 나올 수 없다. 그러니 굳이 무응답이란 항목이 필요 없는 것이다. 그러면 앞으로 어떻게 하는 것이 좋을까? 한국갤럽과 같이 무응답 대신에 '응답거절'이라고 표기하는 것도 한 가지 대안이 될 수 있다고 본다.

  마케팅 영역에서 활발하던 웹조사 방법은 어느새 정치 사회 영역에도 깊숙이 자리를 잡아버렸다. 정치, 경제, 심리 등 다양한 사회과학 영역에서 뿐만 아니라 정치나 정책 영역에서도 이제는 웹조사가 대세가 되고 있다.   웹조사는 응답 대상자에게 구조화된 웹설문 url을 보내고, 응답 대상자가 그 url에 접속하여 자기기입을 통해 조사를 진행하는 방식을 의미한다.   웹조사가 다 그게 그거 같겠지만 크게 네 가지 유형이 있는데 정리하면 다음과 같다.    (유형1) 조사회사나 연구소가 구축해 놓은 액세스 패널을 활용한 웹조사      (유형1-1) 구축한 액세스 패널이 옵트인 패널(한마디로 비확률추출 기반 패널)인 경우      (유형1-2) 구축한 액세스 패널이 확률추출기반 패널인 경우    (유형2) 특정 사이트 게시판이나 배너를 매개로 참여한 응답자를 활용한 웹조사      (유형2-1) 페이스북 등 소셜미디어를 통해 모집한 응답자인 경우      (유형2-2) 아마존의 Mturk 등 크라우드 소싱을 통해 모집한 응답자인 경우    (유형3) 오프라인 조사 등을 통해 모집한 응답자를 활용한 웹조사      (유형3-1) 전화면접조사를 통해 모집한 응답자인 경우      (유형3-2) 대면면접조사를 통해 모집한 응답자인 경우      (유형3-3) 우편조사를 통해 모집한 응답자인 경우    (유형4) 무작위로 생성한 무선전화에 문자를 보내 진행하는 웹조사  그렇다면 이렇게 다양한 유형의 조사 중 어떤 유형이 정치사회 영역의 웹조사로 살아남고 진화할 것인가? 필자 생각에는 (유형1-1), (유형2-1), (유형2-2), (유형3-3) 정도가 아닐까 하는데, 그 이...

   설문지를 만들면서 고민되는 게 참 많지만 척도 배치를 긍정에서 부정순으로 하느냐 아니면 부정에서 긍정순으로 하는 것도 그 중 하나다. 경험적으로 보면 고객마다 이 부분은 다르게 생각하는 것 같다. 즉 어떤 고객은 긍정에서 부정을 선호하고 어떤 고객은 그 반대인 경우가 있다.   그렇다면 긍부정 척도는 어떤 순으로 배치하는게 좋을까? 어떻게 해도 상관 없는 것일까? 음...문헌을 찾다보니 그건 아닌거 같다.   정답부터 말하자면 긍정에서 부정순으로 하는 게 더 나은 것 같다.      그렇다면 어떤 근거로? 그 대답을 위해서 약간은 이론적인 이야기를 해보겠다. 설문을 만드는데 있어 아래와 같은 5가지 휴라스틱이 있다. 1. Middle means typical: respondents will see the middle option as the most typical 2. Left and top means first: the leftmost or top option will be seen as the 'first' in conceptual sense  3. Near means related: options that are physically near each other are expected to be related conceptually 4. Up means good: the top option will be seen as the most desirable 5. Like means close: visually similar options will be seen as closer conceptually.   이 중에서 이번에 적용할 휴리스틱은 바로 '2. Left and top means first'과 '4. Up means good'이다. 이 말은 쉽게 설명하자면 왼쪽이나 위를 시작점으로 잡고 왼쪽에서 오른쪽으로 위쪽에서 아래쪽으로 척도를 이해한다는 것이다. 한 걸음 더...