여론조사 설문지를 보면 태도 문항에서 5점 척도는 정말 자주 등장한다. 2023년 사회조사 조사표에서도 아래와 같이 인간관계 만족도나 사회보험료 부담에 대한 인식 등 5점 척도는 자주 활용되고 있는 실정이다.
5점 척도는 보통 강한 긍부정-약한 긍부정-중간-약한 긍부정-강한 긍부정으로 구성되는데, 크게 양극(Bipolar)과 단극(Unipolar)으로 나뉜다. 위의 두 그림 중 인간관계 만족도는 양극(Bipolar) 척도이고, 사회보험료 부담에 대한 인식은 단극(Unipolar) 척도이다. 잉? 뭔소리여? 두 개가 동일한 거 아니야? 라고 생각하시는 분들이 많으실텐데 두 척도는 완전히 성격이 다르다.
최대한 쉽게 설명하자면 양극은 양(+)과 음(-)으로 보기가 이루어진 반면, 단극은 0과 1로 이루어져 있다고 보면 된다. 양극의 예로 든 위 인간관계 만족도 보기를 보면 만족한다가 양이고, 불만족한다는 음이 되는 것이다. 반면 단극의 예로 든 사회보험료 부담에 대한 인식은 부담된다가 1, 부담되지 않는다가 0이 되는 것이다.
아직도 이해가 안되는 분들을 위해 양극의 예로 든 위 인간관계 만족도 보기를 단극으로 만들어 보면 아래와 같다.
1. 매우 만족한다 2. 약간 만족한다 3. 보통이다 4. 별로 만족하지 않는다 5. 전혀 만족하지 않는다
문제는 우선 5점 척도를 만들면서 연구자들이 양극인지 단극인지를 인식하지 못하고 있다는 사실인데 이와 관련하여 논문을 보면 아래와 같다.
요약하면 양극과 단극일때 응답자의 반응이 다르다는 것인데, 여기서 주목할 것은 우리나라 설문에서 5점 척도에서 중간에 해당하는 '보통이다' 워딩이다. 위 논문을 보면 양극과 단극일 때 중간 척도 워딩이 완전히 다른 것을 알 수 있다. 양극일 때는 중간 척도가 둘 다 아닌 중간이라는 의미인 반면, 단극일 때는 살짝 긍정척도 느낌에 가까운 의미이다. 아래 2023 사회조사의 여가 활용 만족도 문항을 봐도 보통을 만족 범주로 고려하는 것을 알 수 있다.
결론적으로 5점 척도 구성 시 양극인지 단극인지 고려해야 하고, 양극일 경우에는 중간 척도 워딩으로 '보통이다' 보다는 'OO하지도 OO하지도 않는다'로 하는 것이 정확할 것이다. 위 여가 활용 만족도로 예를 들어보면 '만족하지도 불만족하지도 않는다' 정도가 되지 않을까?
Pew Research Center에서 우리는 독자들로부터 여론조사 방법론에 대한 질문을 정기적으로 받습니다. 여기에는 여론조사를 받고 싶어 하지만 기회가 없었던 사람의 질문도 포함됩니다. 이런 종류의 질문은 평균적인 미국인이 여론조사 방법론의 전문가가 아닐 가능성이 높기 때문에 이해할 만합니다.
여기서 우리는 미국 중심의 Pew Research Center 여론 조사에 대한 기본 사항에 대해 가장 자주 받는 질문 중 일부를 다룹니다. 이 설명자는 12,000명 이상의 미국 성인으로 구성된 국가 대표 그룹인 American Trends Panel을 사용하여 실시하는 여론 조사에 특히 초점을 맞춥니다 . 다른 방식으로도 여론 조사를 실시하지만, 대부분의 미국 설문 조사를 실시하기 위해 패널에 의존합니다.
우리가 이것을 어떻게 했는지
설문조사에 참여하려면 어떻게 등록해야 하나요?
안타깝게도 그럴 수 없습니다. 센터는 무작위 표본 추출 에 의존하는데 , 이는 설문 조사를 요청한 사람들에게 단순히 설문 조사를 하는 것이 아니라 무작위로 연락하여 설문 조사에 참여하도록 사람들을 초대한다는 것을 의미합니다. 이를 통해 미국 내 거의 모든 사람이 대략적으로 동일한 확률로 선택될 수 있도록 보장하는 데 도움이 됩니다. 또한 설문 조사 참여자가 우리가 연구하려는 더 광범위한 인구, 가장 일반적으로는 18세 이상의 미국 성인을 대표할 가능성도 높아집니다.
여론조사를 받고 싶어하는 사람들만을 대상으로 여론조사를 실시한다면 미국 성인을 대표하는 표본을 얻을 수 없습니다 . 그 이유는 간단합니다. "자원봉사자"가 일반 대중과 주요 면에서 다를 수 있기 때문입니다.
설문조사에 참여할 미국인을 무작위로 어떻게 선정하시나요?
과거에 센터는 무작위로 미국 유선전화와 휴대전화 번호를 추출하여 미국인들에게 설문 조사에 참여하도록 요청했는데, 이 접근 방식은 랜덤 숫자 다이얼링(random-digit dialing) 으로 알려져 있습니다 . 하지만 로보콜과 발신자 ID가 등장한 시대에 많은 미국인들은 더 이상 알 수 없는 번호에서 걸려오는 전화를 받지 않습니다 . 최근 수십 년 동안 미국에서 전화 설문 조사에 대한 응답률이 급락하면서 여론 조사 기관이 이런 방식으로 응답자에게 다가가는 것이 훨씬 더 어렵고 비용이 많이 들었습니다.
다행히도 미국에서 인터넷이 널리 보급되면서 온라인 여론 조사가 전화 여론 조사에 대한 매력적인 대안이 되었습니다. 2023년 현재 미국 성인의 95%가 인터넷을 사용한다고 말했고, Center는 현재 대부분의 미국 여론 조사를 온라인으로 실시합니다. ( 인터넷을 사용 하지 않는 성인 5%에 대한 자세한 내용은 아래로 스크롤하세요. )
하지만 미국인을 무작위로 초대하여 온라인 설문 조사에 참여시키는 과정은 여전히 오프라인에서 이루어집니다. 그 이유는 미국 전화번호와 같은 방식으로 미국 이메일 주소의 포괄적인 목록을 생성할 방법이 없기 때문입니다.
요즘에는 대부분 무작위로 인쇄된 초대장을 우편으로 보내 설문 조사에 참여할 사람을 모집하는데, 미국 우편국에서 보관하는 주거 주소 파일을 활용 합니다. 이 방법을 사용하면 미국 주거 주소에 사는 거의 모든 사람이 설문 조사를 받을 수 있습니다(수감 중이거나 재활 센터에 사는 사람 등 일부 사람은 제외). 일반적으로 초대장에 소액의 현금을 넣어 수신자가 초대장을 알아차리고 응답할 가능성을 높입니다.
설문 조사 중 하나에 동의한 사람 중 일부는 추가 요청을 받을 수 있습니다. American Trends Panel 또는 ATP에 가입하라는 초대장입니다. 이는 시간이 지남에 따라 여러 설문 조사에 참여하기로 동의한 대규모 미국 성인 그룹입니다. 2024년 현재 ATP에는 12,000명 이상의 참여자가 있지만, 이 숫자는 새로운 회원을 모집하고 다른 사람들이 참여를 중단함에 따라 상당히 정기적으로 변경됩니다.
ATP는 미국에서 설문 조사를 실시하는 주요 수단이지만 유일한 수단은 아닙니다. 때때로 우리는 다양한 샘플을 사용하는 특별 설문 조사도 실시합니다. 예를 들어 미국 교사를 대상으로 한 설문 조사 와 미국 언론인을 대상으로 한 설문 조사가 있습니다 .
제가 무작위로 설문 조사에 초대받은 적이 한 번도 없는 건 어떻게 가능한 걸까요?
Pew Research Center 설문 조사에 무작위로 선정된 적이 없다는 것은 반직관적으로 보일 수 있습니다. 하지만 미국 성인 인구가 2억 6천만 명을 넘는다는 점을 명심하세요 . American Trends Panel과 같은 대규모 설문 조사 패널이 있더라도 초대받을 가능성은 매우 낮습니다. 약 23,000분의 1 정도입니다.
설문 조사에 초대한 후, 사람들은 실제로 어떻게 설문 조사에 참여하나요?
American Trends Panel의 대부분 참여자는 스마트폰, 태블릿, 랩톱 컴퓨터 또는 데스크톱 컴퓨터 등 자신이 선호하는 인터넷 지원 기기로 설문지를 작성합니다. 설문지는 자체 관리되므로 응답자는 언제든지 편리하게 설문지를 작성할 수 있지만, 각 설문 현장 기간의 시작 시에 당사가 연락하는 일정 기간(보통 1~2주) 내에 작성해야 합니다.
저희 ATP 설문 조사는 일반적으로 응답자가 온라인에서 완료하는 데 평균 15분이 걸리도록 설계되었습니다. 저희는 응답자의 시간을 존중하려고 노력하며, 사람들이 모든 질문에 답하는 데 너무 오랜 시간이 걸리면 설문 조사 데이터 품질이 떨어질 수 있다는 사실을 염두에 두고 있습니다.
미국 내 모든 사람이 인터넷을 사용하는 것은 아닙니다. 그렇다면 온라인 설문조사를 어떻게 전국적인 대표성을 가질 수 있을까요?
이것은 좋은 질문이고 중요한 요점입니다. 2023년 조사에 따르면 전국적으로 미국 성인의 5%가 인터넷을 사용하지 않습니다(분명한 이유로 우리는 우편과 온라인 모두 실시했습니다). 다른 사람들은 인터넷에 접속할 수 있지만 개인 정보 보호에 대한 우려나 컴퓨터에 대한 불편함 때문에 온라인 설문 조사를 하지 않으려 할 수 있습니다.
미국에서 인터넷을 사용하지 않거나 인터넷을 싫어하는 성인은 소수이지만, 이런 미국인들을 그냥 무시하거나 간과할 수는 없으므로 우리는 설문 조사에 이들을 포함시키기 위해 다양한 방법을 시도했습니다.
American Trends Panel의 초기에는 반송 우편료를 지불한 종이 설문지를 우편으로 보내 인터넷 비사용자를 대상으로 설문 조사를 실시했습니다. 2016년부터는 인터넷이 가능한 태블릿과 데이터 플랜을 제공하여 일반 인터넷 사용자와 마찬가지로 온라인에서 설문지를 작성할 수 있도록 했습니다. 요즘에는 인터넷 비사용자에게 온라인 대신 전화로 설문 조사를 할 수 있는 옵션을 제공합니다.
설문조사에 영어를 하지 못하는 사람도 포함돼 있나요?
인터넷 비사용자와 마찬가지로, 우리는 비영어권 사용자를 여론 조사에 포함시키기 위해 노력합니다. 모든 설문지는 스페인어와 영어로 제공되며, 미국 성인의 99%는 설문 조사를 완료할 만큼 이 두 언어 중 하나 또는 둘 다를 잘 구사합니다.
물론, 미국인들은 다른 많은 언어도 구사하며, 영어나 스페인어를 구사하지 않는 소수의 사람들을 조사하는 것은 여전히 어려운 일입니다. 이는 특히 아시아계 미국인의 경우 더욱 어렵습니다. 아시아계 미국인은 다양하고 이민자 인구가 많으며 20개국 이상에서 유래되었고 다양한 언어를 구사합니다.
American Trends Panel에서 실시하는 설문 조사에는 영어나 스페인어를 사용하는 아시아계 미국인만 포함됩니다. 다시 말해, 이러한 설문 조사는 전체 아시아계 미국인 인구의 태도에 대한 제한적인 관점만 제공할 수 있습니다. 이것이 우리가 미국 대중의 태도에서 인종적, 민족적 차이에 대해 게시하는 많은 그래픽에서 "아시아계 미국인" 라벨 옆에 별표가 표시되는 이유입니다. 별표는 이러한 제한을 나타냅니다.
같은 사람들이 설문조사를 계속 반복한다면, 설문조사에 응하지 않는 사람들과 다르다는 뜻이 아니고, 따라서 대중을 대표하지 못한다는 뜻이 아닙니까?
이론적으로는 그렇습니다. 같은 사람들에게 같은 질문을 하면 이전 답변을 기억하고 시간이 지남에 따라 일관되게 답변해야 한다는 압력을 느낄 수 있습니다. 반대로 American Trends Panel과 같은 온라인 설문 조사 패널의 일부 참여자는 시간이 지남에 따라 다양한 질문에 노출되고 답변하는 것만으로도 태도나 행동을 바꿀 수 있습니다. 이를 패널 컨디셔닝 이라고 합니다 .
상원 다수당 대표 척 슈머에 대한 설문 조사를 생각해 보세요. 설문 응답자는 처음에는 슈머에 대해 잘 모를 수 있습니다. 결국 많은 미국인이 워싱턴 정치의 세부 사항을 그렇게 자세히 따르지 않기 때문입니다. 하지만 여론 조사 기관이 반복적인 설문 조사에서 슈머에 대해 묻는다면 응답자는 슈머에 대한 정보를 더 많이 찾고 그 과정에서 처음보다 정치적으로 더 적극적으로 참여하게 될 수 있습니다.
다행히도 2021년 Pew Research Center 연구에서 패널 컨디셔닝이 미디어 소비 습관, 정치에 대해 논의하는 빈도, 정당 소속 및 투표 기록을 포함하여 그러한 변화가 예상될 수 있는 여러 영역에서 설문 응답자의 견해나 행동을 변화시켰다는 증거가 거의 없다는 것을 발견했습니다. 그러나 이 연구에서는 사람들 이 American Trends Panel에 가입한 후 유권자 등록이 약간 증가한 것을 발견했습니다.
같은 사람들에게 장기간에 걸쳐 설문 조사를 요청하는 것에도 몇 가지 이점이 있습니다. 예를 들어, 패널리스트가 스스로 관리하는 온라인 환경에서 질문에 답하는 데 더 익숙해지면, 그렇지 않았을 때보다 자신의 의견과 행동을 더 직설적으로 보고할 수 있습니다.
동일한 사람들을 반복적으로 조사함으로써 센터에서는 그들의 태도가 시간이 지남에 따라 어떻게 변했는지 또는 변하지 않았는지 조사할 수 있습니다. 이는 종단 연구 라고 알려진 접근 방식입니다 . 예를 들어, 2018년에 센터는 2016년에 그에게 투표한 사람들 사이에서 당시 대통령이었던 도널드 트럼프에 대한 의견이 어떻게 바뀌었는지(또는 더 정확히 말해서, 바뀌지 않았는지 ) 살펴보는 연구를 발표했습니다.
응답자들은 얼마나 자주 설문조사에 참여하나요?
우리는 일반적으로 한 달에 두세 개의 설문 조사를 실시하지만, 패널 구성원 모두가 모든 설문 조사에 참여하는 것은 아닙니다. 대신, 우리는 종종 "파도"로 소규모 집단의 사람들을 조사합니다. 이는 응답자가 너무 많은 질문에 답하면서 지치지 않도록 하는 데 도움이 됩니다.
설문조사에 참여하도록 사람들에게 돈을 주시나요?
네. 우리는 패널리스트가 우리가 초대한 각 설문 조사를 완료한 것에 대한 작은 감사의 표시를 제공합니다. 응답자는 수표 또는 기프트 코드 형태로 지불을 받을 수 있습니다.
웹조사 하면 반드시 뒤따르는 것이 '(웹조사) 패널'이다. 전화조사의 대표적인 표집틀이 가상번호나 RDD인 것 처럼 웹조사의 가장 대표적인 표집틀은 패널이기 때문이다. 즉 웹조사를 하려면 거의 표집틀로 패널이 필요하다는 의미이다. (물론 웹조사의 표집틀로 가상번호나 RDD를 활용할 수는 있으나 제도적으로 가상번호에는 문자를 보낼 수 없고, RDD로 문자를 보낼 수 있으나 응답율이 낮고 대표성이나 정확성이 낮은 문제가 있음)
웹조사의 가장 대표적인 표집틀이 패널이라는 것은 웹조사를 진행하는 조사회사가 어떤 패널을 활용하느냐에 따라 조사의 대표성이나 정확성에 큰 영향을 준다는 것을 의미한다. 조사회사가 가진 패널의 상태에 따라 조사 결과가 많이 달라질 수 있다는 것이다.
그런데 문제는 우리나라에서 웹조사 패널의 현황을 투명하게 오픈하고 있는 회사가 그리 많지 않다는데 있다. 여기서 투명하게 오픈한다는 의미는 단순히 패널의 규모(몇 명이다) 말고 패널과 관련한 다양한 정보를 알 수 있어야 한다는 뜻이다. 이런 차원에서 우리나라의 웹조사 패널은 어떠한 것이 있고 각 패널의 현황을 잘 소개하고 있는지를 알아보고자 한다.
아래 표의 패널은 한국조사협회 정회원사로 등록된 조사회사 중에서 필자가 홈페이지 등에 들어가서 확인한 내용이다. 정확한 자료는 아니고 찾을 수 있는 정보를 바탕으로 작성하였다.
설문조사 응답률의 감소는 설문조사 연구에서 중요한 관심사였다. 였다라고 쓴 이유는 이제는 너무도 당연하게 받아들여지고 있기 때문이다. 그래서 그런지 최근에는 무응답 이유를 분석하는 논문이 거의 없다시피 했다. 그러나 네덜란드 통계청에서 최근 무응답자 조사를 진행했고, 그 결과를 공유한다.
네덜란드 통계청은 설문 무응답자 2763명을 방문하여 그 중에서 1678명에게 무응답 이유를 받을 수 있었다. 그러나 충격적이게도 질적 인터뷰를 시도한 건에 대해서는 성공자가 0명이었다.
