웹서베이를 맡길 때 고려해야할 5가지 체크리스트

  최근 일반국민 대상 여론조사를 웹조사로 하는 경우가 많아졌다. 웹조사에 대한 인식이 개선된 결과일 것이다. 그렇다면 웹조사를 맡길 때 어떤 점을 유의해야할까?

  1. 조사회사가 가지고 있는 액세스 패널(일종의 회원^^)이 확률추출기반인지 비확률추출기반인지를 알아본다. 고민할 필요 없이 확률추출기반의 액세스 패널은 세계에서도 손에 꼽힌다. 당연히 우리나라 조사회사에는 확률추출기반 액세스 패널이 없으니 안심(?)해도 된다.

  2. 비확률추출 기반의 액세스 패널일 경우 패널의 모집 경로가 다양한지 확인한다. 온라인으로만 패널을 모집했는지, 아니면 오프라인 모집을 병행했는지 확인해야한다. 당연히 온라인과 오프라인을 병행하여 모집한 액세스 패널이 온라인으로만 모집한 패널보다 질이 높을 확률이 높다.

  3. 응답 디바이스가 다양한지 확인한다. 즉 PC 이외에 스마트폰이나 패드로도 조사가 가능한지 확인할 필요가 있다. 또한 이메일로만 조사 참여를 요청하는지 문자로도 병행하는지 확인도 해야한다. 당연히 멀티 디바이스로 조사가 되는 것이 좋고, 이메일 외에 문자로도 조사참여를 하는 것이 좋다.

  4. 패널 관리 그 중에서도 1회 조사에 참여한 패널에게 얼마 후에 다시 조사에 참여하게 하는지를 살펴야한다. 그러한 기준이 없다면 일명 키보드 워리어에게 조사를 점령당하기 십상이다.

  5. 마지막으로 조사 참여 요청을 보내는 패널을 최소한으로 하는지 점검해야한다. 이론적으로는 1000명을 조사하기 위해 랜덤하게 뽑은 1000명의 패널에게만 조사 요청을 하는 것이 가장 좋다. 그러나 현실적으로 조사에 참여하지 않는 사람도 있으므로 최소한 5000명 이상에게는 보내는 게 현실이다. 물론 몇 만명에게 보낼 경우 조사는 빨리 끝날 수 있지만 이는 조사 품질에 나쁜 영향을 미친다.

여론조사에 대해 배울 수 있는 무료 온라인 강좌를 소개합니다

  온라인으로 여론조사에 대해 배울 수 있는 무료 온라인 강좌가 있어 소개합니다.
미국여론조사협회, 유럽조사협회, 세계여론조사협회가 공식적으로 인증한 강좌라 더 믿음이 가고 실제로 들어가 내용을 확인해보니 좋은 내용이 많습니다. 무료이고 회원가입은 필요합니다.

http://www.newsu.org/courses/understanding-and-interpreting-polls-international

대면면접조사 시 우리나라 조사회사에서는 가구 선정을 어떻게 하나요?

   전국 일반국민 대면면접조사는 주변에서 흔히 접할 수 있다. 설문지가 길고 인식이나 태도를 알아보는 류의 조사들은 대부분 대면면접조사를 한다고 보면 된다. 그렇다면 조사회사들은 대면면접조사에서 어떤 방식으로 가구를 선정할까?

  가구 선정에 있어 가장 중요한 변수는 해당 조사가 통계청 인증조사인지 여부이다. 통계청 인증조사일 경우에는 통계청에서 조사구(60가구 내외의 리스트 및 요도)를 받을 수 있어 조사구 내에서 가구를 선정한다.

  문제는 대다수의 비인증조사인데 이런 류의 조사는 가구를 어떻게 선정할까? 일단 조사구를 받을 수 없다(통계법 제30조 2항). 결론부터 얘기하면 가구를 선정하기 어렵다. 아니 선정할 수가 없다. 그 이유는 가구 리스트가 없기 때문이다. 그러면 면접원이 아무 지역에나 가서 마음대로 조사하는걸까? 그건 당연히 아니다. 이를 막기 위해 조사회사들은 집계구(조사구 4-5개를 합친 정도의 구역)를 활용한다. 해당 집계구 안에서 할당에 맞춰 조사를 하라는 의미이다.

  요약해서 이야기하면 통계청 인증조사가 아닌 이상 대면면접조사에서 확률적 가구 추출은 불가능하다. 물론 KGSS처럼 사전에 조사 지역 요도를 그리고 가구 리스트를 구축하면 가능할 수 있으나 조사회사에서 이는 불가능한 일이다. 만약 통계청 인증조사가 아닌 대면면접조사에서 가구를 계통적으로 추출했다느니 하는 말이 나오면 아 얘네들 사기(?)를 치는구나라고 생각하면 된다.

  개인적인 소망이 있다면 우리도 미국처럼 가구 주소를 공개적으로 신청하여 받을 수 있으면 좋겠다. 그럴 경우 ABS(Address Base Sampling) 방법으로 가구를 선정할 수 있기 때문이다. 아니면 조사구를 통계청 인증을 받지 않은 조사에서도 활용하게 해줬으면 좋겠다.

응답률이 낮으면 질이 낮은 조사일까?

  여론조사를 공격할 때 흔히들 지적하는 레퍼토리는 응답률이다. 낮은 응답률의 조사는 대표성과 자료의 질 차원에서 나쁘다는 것이다. 과연 이 말은 사실일까?

  지금까지 나온 결과를 종합해보면 이는 사실이 아니다. 정확하게는 응답률과 자료의 질과는 강한 연관 관계가 없다는 것이다. 심지어 언론 보도 시에 응답률을 반드시 이야기하지 않아도 된다는 게 미국여론조사협회의 입장이다. 응답률에 목을 맨 우리나라와는 사뭇 다른 입장이다.

휴대전화번호를 무작위로 생성하여 웹조사 요청 문자를 보낼 수 있을까?

  원래 웹조사는 이메일이 url을 보내는 주요한 수단이었다. 그러나 스마트폰의 보급율이 높아지면서 이메일보다는 문자를 통해 url을 보내는게 더 효율성이 높아졌다. 문제는 스마트폰으로 문자를 보내려면 휴대전화번호가 있어야한다는 것이다. 조사회사들은 자사가 보유한 액세스 패널의 휴대전화번호로 문자를 보낸다.

  문득 든 생각, 전화면접조사처럼 휴대전화를 무작위로 생성하여 보내면 안될까? 여기서 안될까는 두 가지 의미를 내포한다. 우선 법적으로 문제가 없느냐이고, 다음으로는 실제로 그렇게 보낼 경우 조사가 진행되는지이다. 첫 번째 문제를 해결하기 위해 필자는 작년에 국민신문고를 통해 법적인 문제가 없는지를 자문하였고 자문 결과 법적으로는 문제가 없다는 응답을 받았다. 아래 그림은 당시 필자가 했던 질문과 정부로 부터 받은 답변 내용이다. 다음으로 그렇게 무작위로 보냈을 경우 조사가 진행될 수 있을까? 이에 대해서는 실험조사가 필요하다.

여론조사할 때 몇 명이나 해야해요?

  조사 협의를 하면서 고객에게 가장 많이 받는 질문 중 하나가 몇 명 정도나 조사해야하냐는 거다. 사실 표본수는 명확히 돈(예산)과 비례한다. 예산이 많으면야 표본수를 늘릴수록 좋다. 표본수를 늘릴수록 표집오차가 감소하기 때문이다. 그러나 무한정 늘린다고 그에 따라 오차가 무한정 줄어들지 않는다. 아래 그림과 같이 처음엔 가파른 경사로 표집오차가 감소하다가 점점 그 기울기가 완만해진다. 보통 500명에서 1000명 사이에서 드라마틱하게 감소한다. 이 지점 중에서 표본수를 선택하면 그만이다.

  이왕 표집오차 얘기를 꺼낸 김에 한 가지 더 유의할 것이 있다. 위에 표를 보면 제목 밑에 약 50% 정도일 때(for a result of around 50%)라는 말이 있는데 이건 무엇을 의미하는 것일까? 이 말은 관측비율이 50% vs. 50%일 때의 표집오차라는 의미이다. 이해를 돕기 위해 아래표를 보자. 표본수가 동일하더라고 관측비율이 다르면 표집오차가 달라진다. 즉 50%일 때 표집오차가 가장 크다. 그렇다. 원래는 표본수가 동일해도 문항마다 표집오차가 다르다. 그러나 이를 문항마다 표기할 경우 너무 복잡할 수 있기 때문에 '최대허용오차'라는 표현으로 50%일 때의 표집오차는 대표로 표기하는 것이다.

만19세 이상 일반국민 여론조사에서 1인가구는 몇 %나 나와야하는걸까요?

  보통 일반국민 대상 여론조사에서 1인가구가 과소하게 잡히는 건 어제 오늘의 문제가 아니다. 흔히들 원래는 30% 가까이 나와야하는데 실제 조사에서는 10% 남짓 잡힌다는 이야기를 자주 한다. 그러나 이 말은 틀린 말이다.

  우선 1인가구가 30% 정도 된다는 것은 가구를 기준으로 한 것이다. 2016년 기준으로 1인가구가 539만 7,615가구이니 전체 가구 1,936만 7,696가구로 나누면 정확히 27.87%이다.  

  그러나 조사회사에서 실시하는 일반국민 대상 여론조사는 조사 대상이 만19세이상 성인남녀이다. 이 경우 1인가구 비율을 정확히 알기 위해서는 만19세이상 4천만여명 중 1인가구에 사는 사람이 몇 명 정도 되는지 알아야한다. 그러나 이를 추론할 수 있는 통계청 전수조사가 아쉽게도 없다.

  그래서 2017년 사회조사 마이크로 데이터를 구해서 가구원 가중치를 넣은 상태로 추정해보았다. 이 조사는 전수조사만큼은 아니지만 모집단에 상당히 접근한 조사라 할 수 있다. 그렇다면 일반국민 중 1인가구의 비율은 몇 %나 될까? 그 결과는 아래와 같다. 대략 15% 정도 된다.

가구원수	빈도(가중후)	비율
1인	6,157,272	14.8
2인	11,965,851	28.8
3인	10,784,317	25.9
4인이상	12,677,282	30.5
전체	41,584,721	100.0

  그렇다면 연령대별로는 어떨까? 20대 16.7%, 30대 10.7%, 40대 10.2%, 50대 16.5%, 70세이상 29.4%로 70세이상에서 1인가구 비율이 가장 높았다.

연령대 * 가구원수 교차표
							전체
			1인 가구	2인 가구	3인 가구	4인 가구 이상
연령대	19-29세	빈도	1202071	1092881	2053690	2831762	7180404
		연령대 중 %	16.7%	15.2%	28.6%	39.4%	100.0%
	30-39세	빈도	802585	1530688	2302814	2872364	7508451
		연령대 중 %	10.7%	20.4%	30.7%	38.3%	100.0%
	40-49세	빈도	851149	1323321	2284402	3872416	8331288
		연령대 중 %	10.2%	15.9%	27.4%	46.5%	100.0%
	50-59세	빈도	987305	2702643	2474249	2089711	8253908
		연령대 중 %	12.0%	32.7%	30.0%	25.3%	100.0%
	60-69세	빈도	922676	2945483	1135008	580982	5584149
		연령대 중 %	16.5%	52.7%	20.3%	10.4%	100.0%
	70세이상	빈도	1391486	2370835	534153	430046	4726520
		연령대 중 %	29.4%	50.2%	11.3%	9.1%	100.0%
전체		빈도	6157272	11965851	10784316	12677281	41584720
		연령대 중 %	14.8%	28.8%	25.9%	30.5%	100.0%