메소드서베이

   여론조사 설문지를 보면 태도 문항에서 5점 척도는 정말 자주 등장한다. 2023년 사회조사 조사표에서도 아래와 같이 인간관계 만족도나 사회보험료 부담에 대한 인식 등 5점 척도는 자주 활용되고 있는 실정이다.    5점 척도는 보통 강한 긍부정-약한 긍부정-중간-약한 긍부정-강한 긍부정으로 구성되는데, 크게  양극(Bipolar)과  단극(Unipolar) 으로 나뉜다. 위의 두 그림 중  인간관계 만족도는  양극(Bipolar)  척도이고,  사회보험료 부담에 대한 인식은  단극(Unipolar) 척도이다. 잉? 뭔소리여? 두 개가 동일한 거 아니야? 라고 생각하시는 분들이 많으실텐데 두 척도는 완전히 성격이 다르다.   최대한 쉽게 설명하자면 양극은 양(+)과 음(-)으로 보기가 이루어진 반면, 단극은 0과 1로 이루어져 있다고 보면 된다. 양극의 예로 든 위 인간관계 만족도 보기를 보면 만족한다가 양이고, 불만족한다는 음이 되는 것이다. 반면  단극의 예로 든  사회보험료 부담에 대한 인식은 부담된다가 1, 부담되지 않는다가 0이 되는 것이다.   아직도 이해가 안되는 분들을 위해  양극의 예로 든 위 인간관계 만족도 보기를 단극으로 만들어 보면 아래와 같다. 1. 매우 만족한다 2. 약간 만족한다 3. 보통이다 4. 별로 만족하지 않는다 5. 전혀 만족하지 않는다   문제는 우선 5점 척도를 만들면서 연구자들이 양극인지 단극인지를 인식하지 못하고 있다는 사실인데 이와 관련하여 논문을 보면 아래와 같다.   요약하면 양극과 단극일때 응답자의 반응이 다르다는 것인데, 여기서 주목할 것은 우리나라 설문에서 5점 척도에서 중간에 해당하는 '보통이다' 워딩이다. 위 논문을 보면 양극과 단극일 때 중간 척도 워딩이 완전히 다른 것을 알 수 있다. 양극일 때는 중간 척도가 둘 다 아닌 중간이라는 의미인 ...

  그렇다면 미국인들은 퓨 리서치 센터 설문 조사에 어떻게 참여할까요? 존 그램리치 (퓨 리서치 센터 그림) Pew Research Center에서 우리는 독자들로부터 여론조사 방법론에 대한 질문을 정기적으로 받습니다. 여기에는 여론조사를 받고  싶어  하지만 기회가 없었던 사람의 질문도 포함됩니다. 이런 종류의 질문은 평균적인 미국인이 여론조사 방법론의 전문가가 아닐 가능성이 높기 때문에 이해할 만합니다. 여기서 우리는 미국 중심의 Pew Research Center 여론 조사에 대한 기본 사항에 대해 가장 자주 받는 질문 중 일부를 다룹니다. 이 설명자는 12,000명 이상의 미국 성인으로 구성된 국가 대표 그룹인  American Trends Panel을  사용하여 실시하는 여론 조사에 특히 초점을 맞춥니다 . 다른 방식으로도 여론 조사를 실시하지만, 대부분의 미국 설문 조사를 실시하기 위해 패널에 의존합니다. 우리가 이것을 어떻게 했는지 설문조사에 참여하려면 어떻게 등록해야 하나요? 안타깝게도 그럴 수 없습니다. 센터는  무작위 표본 추출  에 의존하는데 , 이는 설문 조사를 요청한 사람들에게 단순히 설문 조사를 하는 것이 아니라 무작위로 연락하여 설문 조사에 참여하도록 사람들을 초대한다는 것을 의미합니다. 이를 통해 미국 내 거의 모든 사람이 대략적으로 동일한 확률로 선택될 수 있도록 보장하는 데 도움이 됩니다. 또한 설문 조사 참여자가 우리가 연구하려는 더 광범위한 인구, 가장 일반적으로는 18세 이상의 미국 성인을 대표할 가능성도 높아집니다. 여론조사를 받고 싶어하는 사람들만을 대상으로 여론조사를 실시한다면 미국 성인을 대표하는 표본을 얻을 수  없습니다  . 그 이유는 간단합니다. "자원봉사자"가 일반 대중과 주요 면에서 다를 수 있기 때문입니다. 설문조사에 참여할 미국인을 무작위로 어떻게 선정하시나요? 과거에 센터는 무작위로 미국 유선전화와 휴대전화 번호를 추출하여 ...

   웹조사 하면 반드시 뒤따르는 것이 '(웹조사) 패널'이다.  전화조사의 대표적인 표집틀이 가상번호나 RDD인 것 처럼 웹조사의 가장 대표적인 표집틀은 패널이기 때문이다. 즉 웹조사를 하려면 거의 표집틀로 패널이 필요하다는 의미이다. (물론 웹조사의 표집틀로 가상번호나 RDD를 활용할 수는 있으나 제도적으로 가상번호에는 문자를 보낼 수 없고, RDD로 문자를 보낼 수 있으나 응답율이 낮고 대표성이나 정확성이 낮은 문제가 있음)    웹조사의 가장 대표적인 표집틀이 패널이라는 것은 웹조사를 진행하는 조사회사가 어떤 패널을 활용하느냐에 따라 조사의 대표성이나 정확성에 큰 영향을 준다는 것을 의미한다. 조사회사가 가진 패널의 상태에 따라 조사 결과가 많이 달라질 수 있다는 것이다.    그런데 문제는 우리나라에서 웹조사 패널의 현황을 투명하게 오픈하고 있는 회사가 그리 많지 않다는데 있다. 여기서 투명하게 오픈한다는 의미는 단순히 패널의 규모(몇 명이다) 말고 패널과 관련한 다양한 정보를 알 수 있어야 한다는 뜻이다. 이런 차원에서 우리나라의 웹조사 패널은 어떠한 것이 있고 각 패널의 현황을 잘 소개하고 있는지를 알아보고자 한다.    아래 표의 패널은 한국조사협회 정회원사로 등록된 조사회사 중에서 필자가 홈페이지 등에 들어가서 확인한 내용이다. 정확한 자료는 아니고 찾을 수 있는 정보를 바탕으로 작성하였다.  

  패널조사나 대규모 대면조사를 진행해오던 조사에서 웹조사의 효과 소위 모드 효과에 대한 걱정은 항상 있었습니다. 이와 관련하여 18-49세에서는 최소한 모드 효과가 거의 없다는 논문이 나왔습니다.

   설문조사 응답률의 감소는 설문조사 연구에서 중요한 관심사였다. 였다라고 쓴 이유는 이제는 너무도 당연하게 받아들여지고 있기 때문이다. 그래서 그런지 최근에는 무응답 이유를 분석하는 논문이 거의 없다시피 했다. 그러나 네덜란드 통계청에서 최근 무응답자 조사를 진행했고, 그 결과를 공유한다.   네덜란드 통계청은 설문 무응답자 2763명을 방문하여 그 중에서 1678명에게 무응답 이유를 받을 수 있었다. 그러나 충격적이게도 질적 인터뷰를 시도한 건에 대해서는 성공자가 0명이었다.