2022의 게시물 표시

여론조사에서 '필요하다'의 마법(?)

이미지
   우리나라 여론조사에서 유독 많이 활용되는 단어가 있는데...그것은 '필요하다(반대로 필요하지 않다)'이다...그러나 설문지에서 이 단어를 활용하는 것에 대해서는 조심할 필요가 있어 보인다...   두 가지 설문과 그 결과로 예를 들어 설명해보겠다.   우선 아래 조사는 MBC-코리아리서치가 지난 9월 7,8일 실시한 여론조사 중 김건희 여사 특검 관련한 문항인데...'필요한지 필요하지 않은지'로 물어보았다. 결과는 필요하다 62.7%였다.   다음은 비슷한 시기에 SBS-넥스트리서치가 실시한 여론조사(9월 8,9일 실시)로 MBC와는 달리 필요여부로 묻지 않고 적절한지 여부로 물어보았다. 적절하다는 응답은 55% 였다.   비슷한 시기에 MBC와 SBS가 실시한 여론조사 모두 김건희 여사 특검과 관련한 조사를 하였고, 두 조사 모두 특검을 해야한다는 의견이 과반을 넘었지만 그 강도는 매우 다르다. MBC는 60%를 넘은 반면, SBS 조사에서는 과반을 약간 넘은 정도다.   그렇다면 이러한 차이는 왜 발생한 것인가? 예상대로 질문과 보기의 차이 때문일 것이다. 그러나 여기에는 '필요하다'의 마법(?)이 발동했다는 게 필자의 생각이다. 세상에 필요 없는 게 과연 얼마나 있을까? 왠만하면 필요한 거 아닐까?   그래서 결론은 대립되는 이슈를 물을 때 '필요한지 여부'로 물어보는 것에 대해서 다시 한 번 생각해 볼 필요가 있다는 것이다. 왜냐하면 왠만하면 '필요하다'는 보기가 더 많이 나올 확률이 높기 때문이다...   마지막으로 미국에서 총기 소유와 관련하여 아래와 같이 필요 여부로 문항을 만든다면 어떤 평가를 받을까?   "귀하께서는 개인이 총기를 소유하는 것이 필요하다고 생각하십니까? 아니면 필요하지 않다고 생각하십니까?"

우리나라 통계청 온라인조사 설문의 문제점은?

이미지
  우리나라 통계청의 온라인조사 설문의 문제점은 무엇일까? 그것은 바로 어떤 조사던 상관없이 종이설문지 포맷과 최대한 비슷하게 프로그래밍 한다는데 있다.   아래 온라인조사 화면은 5년마다 시행하는 공무원총조사의 온라인 조사 화면이다. 보시다시피 종이설문지와 거의 동일하다는 것을 알 수 있다.    이게 왜 문제일까? 종이설문지와 동일하니 측정에 있어 모드효과를 최소화할 수 있어 좋은 거 아니야 하는 분들이 있을 수 있다. 물론 맞는 말이다. 그러나 측정에 있어 모드효과에 너무 집착한 나머지 여러가지 문제가 있다는 걸 간과한 거 같다.    무엇이 문제인가? 가장 큰 문제는 이러한 온라인 설문 포맷으로는 스마트폰 조사를 할 수 없다는 데 있다. 두 번째로는 프로그램이 상당히 무거워지면서 전체적으로 느리다. 이러한 문제로 인해 온라인조사에 접속했다가 조사를 끝까지 못하는 현상이 자주 발생한다. (통계청에서 하는 조사 온라인으로 접속해서 한 번만 해보면 이 문제는 누구나 알 수 있다)   그렇다면 해외는 어떨까? 대표적으로 미국의 ACS 조사를 보면 스마트폰에서도 조사가 가능하도록 페이지가 아닌 문항 베이스로 온라인 설문이 구성된 것을 볼 수 있다. 이러한 화면 구성은 현재 조사회사에서 진행하는 온라인 조사 화면과 동일하다. 종이설문지와는 구성이 완전히 다르다. 즉 온라인 설문에 맞게 구성된 것이다.   답은 보시다시피 명확하다. 우리나라 통계청은 온라인 설문을 종이설문지와 동일한 포맷으로 만들어야 한다는 환상(?)에서 깨어나야한다.

DIY 웹조사가 판치는 세상에서 내 조사 품질을 올리는 방법은?

이미지
  내 조사의 품질을 올린다는 것은 무엇을 의미할까? 어려운 질문처럼 느껴지지만 답은 의외로 명확한데 조사 과정에서 발생하는 소위 네 가지 정도의 에러를 최소화하는 것이다. 네 가지 중 세가지는 대표성과 관련한 것이고, 나머지 하나는 측정과 관련한 것이다. <대표성 관련 에러> 1. Coverage Error 2. Sampling Error 3. Nonresponse Error <측정 관련 에러> 4. Measurment Error      최근 서베이 시장은 퀵하고 상대적으로 저렴한 DIY 웹서베이가 대세가 되었다. DIY 웹서베이는 설문은 의뢰하는 사람(즉 고객)이 만들고, 조사는 대규모 패널을 보유한 조사회사가 대행해주는 서비스를 말한다.   여기서 잠깐.........................................................이러한 서비스 구조에서 고객은 대표성과 관련한 세 가지 에러(Coverage Error, Sampling Error, Nonresponse Error)와 관련하여 개입이 가능할까? 답은 명확하다. 절대 개입할 수 없다. 패널을 보유한 조사회사가 해주는대로 할 뿐이다.   그렇다면 측정 관련한 에러(Measurment Error)는 어떠한가? 이 부분은 오롯이 고객 스스로가 책임져야한다. 즉 좋은 설문지를 만든다면(좋은 질문과 보기를 만든다면) 측정 에러의 대부분은 줄일 수 있다.   답은 나왔다.   DIY 웹조사가 판치는 세상에서 내 조사 품질을 올리려면?   설문지를 잘 만들어야한다는 것이다. 그냥 만들면 안된다. 잘 만들어야한다.     

푸시웹서베이(push-to-web survey)를 우리나라에서 활성화시킬 수 있을까?

이미지
  해외 특히 미국에서는 푸시웹조사(push-to-web survey)가 대세가 되어가고 있다. 전화조사의 몰락(?)이 이러한 현상을 부추겼다고 할 수 있다.   푸시웹조사란 무엇인가? 아래는 구글에서 푸시웹조사를 검색했을 때 나타나는 정의이다. 오프라인을 통해 응답자에게 1차적으로 접근하여 웹조사를 하도록 만드는 조사라고 하는 편이 가장 보편적인 정의일 것이다. What is a push to web survey? A push-to-web survey is  a quantitative data collection method in which offline contact modes are used to encourage sample members to go online and complete a web questionnaire .    핵심은 1차 접근을 어떻게 할 것이냐인데, 미국이나 유럽의 경우 일반적으로 우편(정확히는 우체국 등기)으로 1차 접근을 시도한다. 우편으로 하는 이유는 이것이 비용적으로나 시간적으로 가장 합리적인 수단이기 때문이다. 우편을 통해 인사말과 웹설문 참여 안내문을 보내고(대부분 5달러 내외의 돈을 동봉), 이후에 전화나 방문 등을 통해 조사한다. 즉 주 방법이 웹조사가 되는 것이고, 이에 응하지 않은 응답자의 경우에 웹조사가 아닌 방식으로 조사하는 것이다. 믹스모드 조사라고 불리는 최근의 방법의 대다수는 이 방식을 의미한다고 해도 과언이 아니다.   그렇다면 우리나라는 어떨까? 결론적으로 말하면 우리나라는 현재 푸시웹조사 측면에서는 완전히 '걸음마' 단계이다. 웹환경이 어느 나라보다 발달한 우리나라에서 왜 푸시웹조사가 걸음마 단계일까? 그것은 우편조사가 거의 불가한 환경에 그 원인이 있다. 우리나라는 표집틀의 문제로 인해 우편조사가 '거의' 불가능하다. 통계청에서 제공하는 표집틀인 조사구에서 제공하는 정보가 요도와 주소만 있고 가구주 이름이나 전화번호가 없기 때문에 우편조사가 불가능...

온라인 샘플 구매자를 위한 37가지 질문(Questions to help buyers of online samples)

이미지
유럽조사협회(ESOMAR) 에서 변화한 온라인 조사 환경에 맞추어 온라인 패널을 통한 웹조사를 하려는 고객이 알아야 할 질문 37개를 발표하였습니다. https://esomar.org/code-and-guidelines/questions-for-users-and-buyers-of-online-sample 온라인 샘플 구매자를 위한 37가지 질문   회사 프로파일 1. 귀사는 시장 조사를 위해 온라인 샘플을 제공한 경험이 있습니까 ? 이 서비스를 제공하신 지 얼마나 되셨습니까 ? 다이렉트 마케팅 등 다른 용도로도 비슷한 서비스를 제공하나요 ? 만약 그렇다면 , 당신의 업무 중 시장 조사를 위한 비율은 어느 정도인가요 ?   2. 샘플링 알고리즘 및 관련 자동화 기능의 성능을 개발하고 모니터링해야 하는 담당 직원이 이 분야에 대한 지식과 경험을 가지고 있습니까 ? 일선 직원에게 샘플링 기술에 대한 어떤 교육을 제공합니까 ?   3. 다른 서비스는 어떤 게 있나요 ? 샘플만 취급합니까 , 아니면 광범위한 데이터 수집 및 분석 서비스를 제공합니까 ?   샘플 출처 및 리쿠르팅 4. 위의 광범위한 분류를 사용하여 온라인 샘플의 어떤 출처에서 참가자를 도출합니까 ?   5. 다음 중 독점적 또는 독점적 공급원이며 구매자에게 제공된 전체 샘플에서 각 공급원의 비율은 얼마입니까 ? ( 표본 제공자가 자산을 소유하고 있음을 의미한다고 가정합니다 . 표본제공자가 원래 다른 기업이 수집한 표본에 대한 접근권을 관리 / 제공하는 독점적 계약을 가지고 있다는 것을 의미한다고 가정한다 .)   6. 귀하가 설명한 각 출처에 대해 어떤 채용 채널을 사용하고 있습니까 ? 모집 과정은 ' 모든 사람에게 공개 ' 인가요 , 아니면 초청에 의해서만 진행되나요 ? 확률론적 방법을 사용하고 있습니까 ? 제휴 네트워크와 추천 프로그램을 어느 정도 사용하고 있습니까 ? 이 채널들을 사용하는 방법은 ...