미국인들은 퓨 리서치 센터 설문 조사에 어떻게 참여할까요?

 

그렇다면 미국인들은 퓨 리서치 센터 설문 조사에 어떻게 참여할까요?

존 그램리치

(퓨 리서치 센터 그림)

Pew Research Center에서 우리는 독자들로부터 여론조사 방법론에 대한 질문을 정기적으로 받습니다. 여기에는 여론조사를 받고 싶어 하지만 기회가 없었던 사람의 질문도 포함됩니다. 이런 종류의 질문은 평균적인 미국인이 여론조사 방법론의 전문가가 아닐 가능성이 높기 때문에 이해할 만합니다.

여기서 우리는 미국 중심의 Pew Research Center 여론 조사에 대한 기본 사항에 대해 가장 자주 받는 질문 중 일부를 다룹니다. 이 설명자는 12,000명 이상의 미국 성인으로 구성된 국가 대표 그룹인 American Trends Panel을 사용하여 실시하는 여론 조사에 특히 초점을 맞춥니다 . 다른 방식으로도 여론 조사를 실시하지만, 대부분의 미국 설문 조사를 실시하기 위해 패널에 의존합니다.

우리가 이것을 어떻게 했는지

설문조사에 참여하려면 어떻게 등록해야 하나요?

안타깝게도 그럴 수 없습니다. 센터는 무작위 표본 추출 에 의존하는데 , 이는 설문 조사를 요청한 사람들에게 단순히 설문 조사를 하는 것이 아니라 무작위로 연락하여 설문 조사에 참여하도록 사람들을 초대한다는 것을 의미합니다. 이를 통해 미국 내 거의 모든 사람이 대략적으로 동일한 확률로 선택될 수 있도록 보장하는 데 도움이 됩니다. 또한 설문 조사 참여자가 우리가 연구하려는 더 광범위한 인구, 가장 일반적으로는 18세 이상의 미국 성인을 대표할 가능성도 높아집니다.

여론조사를 받고 싶어하는 사람들만을 대상으로 여론조사를 실시한다면 미국 성인을 대표하는 표본을 얻을 수 없습니다 . 그 이유는 간단합니다. "자원봉사자"가 일반 대중과 주요 면에서 다를 수 있기 때문입니다.

설문조사에 참여할 미국인을 무작위로 어떻게 선정하시나요?

과거에 센터는 무작위로 미국 유선전화와 휴대전화 번호를 추출하여 미국인들에게 설문 조사에 참여하도록 요청했는데, 이 접근 방식은 랜덤 숫자 다이얼링(random-digit dialing) 으로 알려져 있습니다 . 하지만 로보콜과 발신자 ID가 등장한 시대에 많은 미국인들은 더 이상 알 수 없는 번호에서 걸려오는 전화를 받지 않습니다 . 최근 수십 년 동안 미국에서 전화 설문 조사에 대한 응답률이 급락하면서 여론 조사 기관이 이런 방식으로 응답자에게 다가가는 것이 훨씬 더 어렵고 비용이 많이 들었습니다.

다행히도 미국에서 인터넷이 널리 보급되면서 온라인 여론 조사가 전화 여론 조사에 대한 매력적인 대안이 되었습니다. 2023년 현재 미국 성인의 95%가 인터넷을 사용한다고 말했고, Center는 현재 대부분의 미국 여론 조사를 온라인으로 실시합니다. ( 인터넷을 사용 하지 않는 성인 5%에 대한 자세한 내용은 아래로 스크롤하세요. )

하지만 미국인을 무작위로 초대하여 온라인 설문 조사에 참여시키는 과정은 여전히 ​​오프라인에서 이루어집니다. 그 이유는 미국 전화번호와 같은 방식으로 미국 이메일 주소의 포괄적인 목록을 생성할 방법이 없기 때문입니다.

요즘에는 대부분 무작위로 인쇄된 초대장을 우편으로 보내 설문 조사에 참여할 사람을 모집하는데, 미국 우편국에서 보관하는 주거 주소 파일을 활용 합니다. 이 방법을 사용하면 미국 주거 주소에 사는 거의 모든 사람이 설문 조사를 받을 수 있습니다(수감 중이거나 재활 센터에 사는 사람 등 일부 사람은 제외). 일반적으로 초대장에 소액의 현금을 넣어 수신자가 초대장을 알아차리고 응답할 가능성을 높입니다.

설문 조사 중 하나에 동의한 사람 중 일부는 추가 요청을 받을 수 있습니다. American Trends Panel 또는 ATP에 가입하라는 초대장입니다. 이는 시간이 지남에 따라 여러 설문 조사에 참여하기로 동의한 대규모 미국 성인 그룹입니다. 2024년 현재 ATP에는 12,000명 이상의 참여자가 있지만, 이 숫자는 새로운 회원을 모집하고 다른 사람들이 참여를 중단함에 따라 상당히 정기적으로 변경됩니다.

ATP는 미국에서 설문 조사를 실시하는 주요 수단이지만 유일한 수단은 아닙니다. 때때로 우리는 다양한 샘플을 사용하는 특별 설문 조사도 실시합니다. 예를 들어 미국 교사를 대상으로 한 설문 조사 와 미국 언론인을 대상으로 한 설문 조사가 있습니다 .

제가 무작위로 설문 조사에 초대받은 적이 한 번도 없는 건 어떻게 가능한 걸까요?

Pew Research Center 설문 조사에 무작위로 선정된 적이 없다는 것은 반직관적으로 보일 수 있습니다. 하지만 미국 성인 인구가 2억 6천만 명을 넘는다는 점을 명심하세요 . American Trends Panel과 같은 대규모 설문 조사 패널이 있더라도 초대받을 가능성은 매우 낮습니다. 약 23,000분의 1 정도입니다.

설문 조사에 초대한 후, 사람들은 실제로 어떻게 설문 조사에 참여하나요?

American Trends Panel의 대부분 참여자는 스마트폰, 태블릿, 랩톱 컴퓨터 또는 데스크톱 컴퓨터 등 자신이 선호하는 인터넷 지원 기기로 설문지를 작성합니다. 설문지는 자체 관리되므로 응답자는 언제든지 편리하게 설문지를 작성할 수 있지만, 각 설문 현장 기간의 시작 시에 당사가 연락하는 일정 기간(보통 1~2주) 내에 작성해야 합니다.

저희 ATP 설문 조사는 일반적으로 응답자가 온라인에서 완료하는 데 평균 15분이 걸리도록 설계되었습니다. 저희는 응답자의 시간을 존중하려고 노력하며, 사람들이 모든 질문에 답하는 데 너무 오랜 시간이 걸리면 설문 조사 데이터 품질이 떨어질 수 있다는 사실을 염두에 두고 있습니다.

미국 내 모든 사람이 인터넷을 사용하는 것은 아닙니다. 그렇다면 온라인 설문조사를 어떻게 전국적인 대표성을 가질 수 있을까요?

이것은 좋은 질문이고 중요한 요점입니다. 2023년 조사에 따르면 전국적으로 미국 성인의 5%가 인터넷을 사용하지 않습니다(분명한 이유로 우리는 우편과 온라인 모두 실시했습니다). 다른 사람들은 인터넷에 접속할 수 있지만 개인 정보 보호에 대한 우려나 컴퓨터에 대한 불편함 때문에 온라인 설문 조사를 하지 않으려 할 수 있습니다.

미국에서 인터넷을 사용하지 않거나 인터넷을 싫어하는 성인은 소수이지만, 이런 미국인들을 그냥 무시하거나 간과할 수는 없으므로 우리는 설문 조사에 이들을 포함시키기 위해 다양한 방법을 시도했습니다.

American Trends Panel의 초기에는 반송 우편료를 지불한 종이 설문지를 우편으로 보내 인터넷 비사용자를 대상으로 설문 조사를 실시했습니다. 2016년부터는 인터넷이 가능한 태블릿과 데이터 플랜을 제공하여 일반 인터넷 사용자와 마찬가지로 온라인에서 설문지를 작성할 수 있도록 했습니다. 요즘에는 인터넷 비사용자에게 온라인 대신 전화로 설문 조사를 할 수 있는 옵션을 제공합니다.

설문조사에 영어를 하지 못하는 사람도 포함돼 있나요?

인터넷 비사용자와 마찬가지로, 우리는 비영어권 사용자를 여론 조사에 포함시키기 위해 노력합니다. 모든 설문지는 스페인어와 영어로 제공되며, 미국 성인의 99%는 설문 조사를 완료할 만큼 이 두 언어 중 하나 또는 둘 다를 잘 구사합니다.

물론, 미국인들은 다른 많은 언어도 구사하며, 영어나 스페인어를 구사하지 않는 소수의 사람들을 조사하는 것은 여전히 ​​어려운 일입니다. 이는 특히 아시아계 미국인의 경우 더욱 어렵습니다. 아시아계 미국인은 다양하고 이민자 인구가 많으며 20개국 이상에서 유래되었고 다양한 언어를 구사합니다.

American Trends Panel에서 실시하는 설문 조사에는 영어나 스페인어를 사용하는 아시아계 미국인만 포함됩니다. 다시 말해, 이러한 설문 조사는 전체 아시아계 미국인 인구의 태도에 대한 제한적인 관점만 제공할 수 있습니다. 이것이 우리가 미국 대중의 태도에서 인종적, 민족적 차이에 대해 게시하는 많은 그래픽에서 "아시아계 미국인" 라벨 옆에 별표가 표시되는 이유입니다. 별표는 이러한 제한을 나타냅니다.

같은 사람들이 설문조사를 계속 반복한다면, 설문조사에 응하지 않는 사람들과 다르다는 뜻이 아니고, 따라서 대중을 대표하지 못한다는 뜻이 아닙니까?

이론적으로는 그렇습니다. 같은 사람들에게 같은 질문을 하면 이전 답변을 기억하고 시간이 지남에 따라 일관되게 답변해야 한다는 압력을 느낄 수 있습니다. 반대로 American Trends Panel과 같은 온라인 설문 조사 패널의 일부 참여자는 시간이 지남에 따라 다양한 질문에 노출되고 답변하는 것만으로도 태도나 행동을 바꿀 수 있습니다. 이를 패널 컨디셔닝 이라고 합니다 .

상원 다수당 대표 척 슈머에 대한 설문 조사를 생각해 보세요. 설문 응답자는 처음에는 슈머에 대해 잘 모를 수 있습니다. 결국 많은 미국인이 워싱턴 정치의 세부 사항을 그렇게 자세히 따르지 않기 때문입니다. 하지만 여론 조사 기관이 반복적인 설문 조사에서 슈머에 대해 묻는다면 응답자는 슈머에 대한 정보를 더 많이 찾고 그 과정에서 처음보다 정치적으로 더 적극적으로 참여하게 될 수 있습니다.

다행히도 2021년 Pew Research Center 연구에서 패널 컨디셔닝이 미디어 소비 습관, 정치에 대해 논의하는 빈도, 정당 소속 및 투표 기록을 포함하여 그러한 변화가 예상될 수 있는 여러 영역에서 설문 응답자의 견해나 행동을 변화시켰다는 증거가 거의 없다는 것을 발견했습니다. 그러나 이 연구에서는 사람들 이 American Trends Panel에 가입한 후 유권자 등록이 약간 증가한 것을 발견했습니다.

같은 사람들에게 장기간에 걸쳐 설문 조사를 요청하는 것에도 몇 가지 이점이 있습니다. 예를 들어, 패널리스트가 스스로 관리하는 온라인 환경에서 질문에 답하는 데 더 익숙해지면, 그렇지 않았을 때보다 자신의 의견과 행동을 더 직설적으로 보고할 수 있습니다.

동일한 사람들을 반복적으로 조사함으로써 센터에서는 그들의 태도가 시간이 지남에 따라 어떻게 변했는지 또는 변하지 않았는지 조사할 수 있습니다. 이는 종단 연구 라고 알려진 접근 방식입니다 . 예를 들어, 2018년에 센터는 2016년에 그에게 투표한 사람들 사이에서 당시 대통령이었던 도널드 트럼프에 대한 의견이 어떻게 바뀌었는지(또는 더 정확히 말해서, 바뀌지 않았는지 ) 살펴보는 연구를 발표했습니다.

응답자들은 얼마나 자주 설문조사에 참여하나요?

우리는 일반적으로 한 달에 두세 개의 설문 조사를 실시하지만, 패널 구성원 모두가 모든 설문 조사에 참여하는 것은 아닙니다. 대신, 우리는 종종 "파도"로 소규모 집단의 사람들을 조사합니다. 이는 응답자가 너무 많은 질문에 답하면서 지치지 않도록 하는 데 도움이 됩니다.

설문조사에 참여하도록 사람들에게 돈을 주시나요?

네. 우리는 패널리스트가 우리가 초대한 각 설문 조사를 완료한 것에 대한 작은 감사의 표시를 제공합니다. 응답자는 수표 또는 기프트 코드 형태로 지불을 받을 수 있습니다.

참고: 이 글은 원래 2021년 9월 7일에 게시된 게시물을 업데이트한 것입니다.

원문은 아래 사이트에서 볼 수 있습니다.

https://www.pewresearch.org/short-reads/2024/06/26/how-do-people-in-the-us-take-pew-research-center-surveys-anyway/?fbclid=IwZXh0bgNhZW0CMTEAAR3xcLW57j8b-UUgCSCcXPeSS8TVjNjm0oR1wYJbhPn61cdvWUMQ2dn3D30_aem_ZGfor6d8ovtCQZJAtBkrRQ

한국의 웹조사 패널 현황

   웹조사 하면 반드시 뒤따르는 것이 '(웹조사) 패널'이다.  전화조사의 대표적인 표집틀이 가상번호나 RDD인 것 처럼 웹조사의 가장 대표적인 표집틀은 패널이기 때문이다. 즉 웹조사를 하려면 거의 표집틀로 패널이 필요하다는 의미이다. (물론 웹조사의 표집틀로 가상번호나 RDD를 활용할 수는 있으나 제도적으로 가상번호에는 문자를 보낼 수 없고, RDD로 문자를 보낼 수 있으나 응답율이 낮고 대표성이나 정확성이 낮은 문제가 있음)

   웹조사의 가장 대표적인 표집틀이 패널이라는 것은 웹조사를 진행하는 조사회사가 어떤 패널을 활용하느냐에 따라 조사의 대표성이나 정확성에 큰 영향을 준다는 것을 의미한다. 조사회사가 가진 패널의 상태에 따라 조사 결과가 많이 달라질 수 있다는 것이다.

   그런데 문제는 우리나라에서 웹조사 패널의 현황을 투명하게 오픈하고 있는 회사가 그리 많지 않다는데 있다. 여기서 투명하게 오픈한다는 의미는 단순히 패널의 규모(몇 명이다) 말고 패널과 관련한 다양한 정보를 알 수 있어야 한다는 뜻이다. 이런 차원에서 우리나라의 웹조사 패널은 어떠한 것이 있고 각 패널의 현황을 잘 소개하고 있는지를 알아보고자 한다.

   아래 표의 패널은 한국조사협회 정회원사로 등록된 조사회사 중에서 필자가 홈페이지 등에 들어가서 확인한 내용이다. 정확한 자료는 아니고 찾을 수 있는 정보를 바탕으로 작성하였다.  

모드 효과와 관련한 엄청난 연구...

  패널조사나 대규모 대면조사를 진행해오던 조사에서 웹조사의 효과 소위 모드 효과에 대한 걱정은 항상 있었습니다. 이와 관련하여 18-49세에서는 최소한 모드 효과가 거의 없다는 논문이 나왔습니다.

설문 비참여의 이유?

  설문조사 응답률의 감소는 설문조사 연구에서 중요한 관심사였다. 였다라고 쓴 이유는 이제는 너무도 당연하게 받아들여지고 있기 때문이다. 그래서 그런지 최근에는 무응답 이유를 분석하는 논문이 거의 없다시피 했다. 그러나 네덜란드 통계청에서 최근 무응답자 조사를 진행했고, 그 결과를 공유한다.

  네덜란드 통계청은 설문 무응답자 2763명을 방문하여 그 중에서 1678명에게 무응답 이유를 받을 수 있었다. 그러나 충격적이게도 질적 인터뷰를 시도한 건에 대해서는 성공자가 0명이었다.

확률기반 온라인 패널의 패널 컨디셔닝 효과는 과연 어느정도일까?

   바야흐로 확률기반 온라인 패널의 시대를 살고 있습니다. 코로나를 지나면서 확률기반패널은 더 날개(?)룰 단 것으로 보입니다.

  다만 확률기반 온라인 패널에 대한 여러 우려 중 하나인 패널 컨디셔닝 효과가 강하게 나타날 수 있는 우려에 대해서는 지금까지 딱히 증거에 기반한 논문이 없었습니다. 즉 많아봐야 1만명 내외인 패널을 구축하고 조사를 지속적으로 실시하면 조사로 인한 효과가 나타날 것 아니냐는 우려가 지속적으로 제기되었고 이에 대한 마땅한 답이 지금까지는 없었습니다.

  이런 배경에서 아래 논문은 패널 컨디셔닝 우려에 대한 하나의 답이 될 수 있을 것으로 보입니다. 이 논문에서는 큰 문제 없다는 결론을 내리고 있습니다.

웹서베이 대표성 제고를 위한 가중치 변수로 정당지지를 넣을 수 있을까?

   웹서베이로 정치조사를 하면 진보 편향이 일어나고 있는 듯 하다. 액세스 패널에 가입하고 조사에 참여하는 사람들의 성향이 보수보다는 진보성향이 더 많아서 나타나는 현상으로 보인다. 사실 이러한 이유로 우리나라에서는 웹조사로 시행한 정치조사가 거의 공표되지 않고 있다.

  이러한 현상은 우리나라만의 문제는 아닌 듯 하다. 미국이나 영국에서 시행하고 있는 웹조사 형태의 정치조사 방법론을 보면 이런 문제를 해결하기 위해 다양한 변수를 가중치로 활용하고 있다. 정치 관심도, 뉴스 관심도, 사회 참여도 등이 그 예이다.

  그런데 미국이나 영국 웹조사의 가중치 관련 자료를 보다 보면 그것만으로는 부족했던 것인지는 몰라도 (대놓고) 정당일체감 변인도 가중치로 활용하고 있음을 알 수 있다. 미국의 대표적인 조사기관인 퓨리서치 웹조사를 보면 아래와 같이 벤치마크 소스는 달라졌더라도 정당일체감 변인을 가중 변인으로 활용하고 있다. 과거에는 최근 전화조사 3회의 평균값을 벤치마크로 활용했고, 최근에는 1년에 한 번 자체적으로 실시하는 레퍼런스 조사(ABS 방식의 우편조사)를 벤치마크로 활용했다.

  우리나라에서도 웹서베이 대표성 제고를 위한 가중치 변수로 정당지지를 넣을 수 있을까?

필자 의견은 못 할 이유가 없다는 것이고, 이러한 작업 없이는 사실상 웹조사의 진보 편향을 막기란 사실상 불가능하다고 생각한다.

  

'여론조사꽃'은 '김어준'이 운영하는 조사기관이라 민주당 지지율이 높은걸까?

   우리나라에서 전화면접으로 정기조사를 하는 곳은 몇 년 전까지만 한국갤럽과 NBS(엠브레인퍼블릭, 케이스탯리서치, 코리아리서치, 한국리서치) 정도였다. 두 정기조사는 대통령 국정평가나 정당지지도 등 주요 정치 지표에서 큰 차이를 보이지 않았다. (물론 시기별로 추이 등에서 차이가 나는 경우도 있었지만 크게 보면 두 조사간 차이는 크지 않았음)

  그러나 '여론조사꽃'이 전화면접 정기조사를 하면서 부터는 양상이 달라졌다. 특히 정당지지도에서 여론조사꽃 결과가 한국갤럽이나 NBS와 큰 차이가 나면서 '이건 뭐지?'하는 질문이 제기되었다. 그러면서 아 '여론조사꽃'이 김어준이 하는 회사니까 민주당에 유리하게 조사를 하는 걸꺼야 라는 말이 여기저기서 나왔다.

  정말 그런 이유일까? 이를 알아보기 위해 최근 세 개 조사회사의 결과를 비교해봤다. 민주당 지지율에서 여론조사꽃이 한국갤럽이나 NBS와 큰 차이를 보였다. 역시나 그런 이유인걸까 라고 넘어가려는 찰나 국정평가 결과가 눈에 들어왔다. 아래 표를 보면 알겠지만 국정평가 긍정비율은 세 개 조사회사별 차이가 거의 없다는 것을 알 수 있다.

  그럼 왜? 초심으로 돌아가 질문 문항을 살펴봤다. 유레카....한국갤럽과 NBS에서는 "지지하는가" 로 묻고 있는 반면, 여론조사꽃은 "지지하거나 조금이라도 더 호감이 가는"으로 묻고 있었다. 결국 워딩의 차이가 정당지지도에 가장 큰 영향을 주는 거 같다.

<한국갤럽 정당지지도 문항>

<NBS 정당지지도 문항>

<여론조사꽃 정당지지도 문항>