가상번호를 표집틀로 지역, 성, 연령 할당표집에 전화면접인데 왜 정당지지도가 이렇게 다르지?

   가상번호를 표집틀로 지역, 성, 연령 할당표집에 전화면접조사를 하면 조사마다 약간씩은 차이가 있었지만 최근처럼 이렇게 까지 차이가 나지는 않았었다. 지난 주 한국갤럽과 전국지표조사는 민주당 지지도에서 7%포인트 정도 차이가 나면서 한국갤럽에서는 민주당이 전국지표조사에서는 국민의힘이 약간 우세한 것으로 나타났다.

대표성와 정확성 차원에서 인정 받고 있는 두 조사 간 격차라 더 놀라울 뿐이다.

최근 전화면접 뿐 아니라 전화조사 전체적으로 조사마다 정당지지도가 너무 차이가 나서 매우 혼란스러운 상황이다. 그렇다면 그 원인은 무엇일까?

결론적으로 정당지지에 영향을 강하게 미치는 독립변수인 이념성향의 차이에서 기인한다고 볼 수 있다. 쉽게 말해 언론에서 보수가 너무 많이 잡혔느니, 진보가 너무 많이 잡혔느니하는 이슈이다. 좀 더 어렵게 얘기해보자면 지금까지는 보조변수로서 지역, 성, 연령만 고려해도 큰 문제가 없었지만 정치적 양극화가 심화되면서 이념성향 역시 보조변수로서 부각되기 시작했는데, 문제는 이념성향이라는 보조변수가 결과(정당지지)와만 연관이 높고, 선정 확률과는 무관하기 때문에(소위 할당변인으로 이념을 고려하지 않기 때문에), 보정을 통해 분산은 줄일 수 있지만 선택 편향은 감소시키지 못한다는 것이다.

잦은 조사 요청과 응답률 하락(Frequent Survey Requests and Declining Response Rates)

 조사(survey) 응답률이 시간이 지날수록 하락하고 있다는 사실은 널리 알려져 있습니다(Williams and Brick 2018; Dutwin and Buskirk 2021). 이에 대한 설명으로 여러 가설이 제기되어 왔습니다(Czajka and Beyler 2016). 그중 하나가 지난 수십 년간 조사 건수가 증가했다는 ‘잦은 조사 요청(frequent survey request)’ 가설입니다(Leeper 2019). 즉, 모든 종류의 조사가 늘어나면서 사람들이 이전보다 훨씬 자주 조사 요청을 접하고, 그 결과 각각의 조사 요청에 응답할 동기가 줄어든다는 것입니다. Sheppard(2001)에 따르면, “지난해에 조사에 참여했다”고 답한 미국인이 1980년 20%에서 2001년 60%로 늘었다고 합니다. 하지만 조사 건수가 급증한 사실과 조사 응답률이 하락한 사실만 놓고 이를 인과관계로 단정하기는 어렵습니다. 응답률 하락은 ‘잦은 조사 요청’이 아닌, 기타 사회적 변화 때문에 발생했을 수도 있습니다(예: 사람들이 더 바빠졌거나[Vercruyssen et al. 2011], 사회 통합이 약화되었거나[Couper and Groves 1996; Amaya and Harring 2017], 정치인에 대한 신뢰가 하락했거나[Harris-Kojetin and Tucker 1999], 1인가구 증가[Brick and Williams 2013] 등).

의의(Statement of Significance)
오늘날 사람들은 예전보다 조사에 훨씬 덜 응답합니다. 그 이유 중 하나로, 과거에 비해 조사가 전반적으로 많아져서 사람들은 조사 요청에 짜증을 내거나, 서로 다른 조사를 구분하지 못해 결국 어떤 조사든 응답을 피하게 된다는 해석이 있습니다. 하지만 이를 입증하는 직접적 증거는 지금까지 거의 없었습니다. 본 연구는 그 빈틈을 보완하는 사례 연구를 제시합니다. 구체적으로, 최근(2015~2019)에 미국커뮤니티조사(ACS)나 인구조사국이 수행하는 가구조사(CPS)에 표본으로 선정되었던 가구가 2020년 인구센서스에 자기응답(self-response) 을 덜 했다는 점을 보였습니다. 특히, 인구센서스는 법적으로 응답 의무가 있음에도 이런 경향이 나타나므로, 정부 이외 기관이 실시하는 임의조사에도 같은 현상이 나타날 가능성이 높다고 볼 수 있습니다. 따라서 본 연구는, 한 번 조사에 선정된 후 근접 시점의 또 다른 조사에 응답할 확률이 낮아지는, 이른바 ‘조사 피로(survey fatigue)’나 ‘조사 혼동(survey confusion)’ 현상을 새롭게 확인했다는 의의를 갖습니다.

복잡한 정책에 대한 설문은 어떻게 해야할까(Asking about Complex Policies)

 정치적 이슈가 점점 복잡해짐에 따라, 여론조사 연구자들은 점점 더 복합적 지식과 분석 능력을 요구하는 수준 높은 정책 주제를 응답자에게 묻게 됩니다. 이는 설문에서 만족화(satisficing, 피상적 또는 대충 응답하는 행태) 문제가 제기될 우려를 높입니다. 본 논문에서는 이러한 ‘만족화’의 한 유형인 응답 순서 효과(response order effect) ― 즉, 시각적으로 제시된 보기 목록에서 맨 위에 있는 선택지를 고르는 경향 ― 의 상관관계를 살펴봅니다.

구체적으로, 우리는 3년간 진행된 설문조사(6,291명 응답자)에 삽입된 무작위 응답 순서 배치 실험을 분석합니다. 이 조사는 미국 연방대법원에서 다룰 40여 가지 복잡한 사안에 대해 여론을 물었습니다(총 84,000건 이상의 응답). 전체적으로 응답 순서 효과는 평균 약 2.8%p로 나타났지만, 질문 길이 및 응답자의 지식 수준에 따라 매우 이질적인 양상을 보였습니다. 즉, 질문이 길수록 효과가 커지고, 대법원 관련 지식이 높은 응답자일수록 효과가 줄었습니다. 두 요인은 상호작용도 나타냈습니다. 지식이 낮은 사람이 질문이 긴 항목에 답할 때, 응답 순서 효과가 최대 17.4%p에 달했습니다. 반면, 질문 문장 자체의 언어적 난이도(‘읽기 난이도’)나 응답자의 학력은 이러한 효과를 유의미하게 조정하지 않았습니다.

이 결과는 ‘복잡한 정책 사안’에 대한 여론조사를 설계할 때 중요한 함의를 지닙니다. 무엇보다, 간결함이 핵심이라는 점을 시사합니다. 정보를 더 상세히 제시하려다 질문이 지나치게 길어지면 만족화가 커질 수 있기 때문입니다. 또한 언어적 난이도를 낮추기 위해 불필요하게 문장을 길게 구성하는 것은 별다른 이점이 없는 것으로 보입니다. 응답자의 학력을 기준으로 표본 가중을 해도 이 문제를 해결하기는 어렵습니다. 왜냐하면, ‘해당 주제에 대한 지식’(영역 특유의 관심도, 사전이해도)과 ‘학력’은 다른 개념이기 때문입니다. 마지막으로, 응답 보기를 무작위로 배열하면 편향은 줄일 수 있지만, 완전히 제거되진 않습니다(측정오차 감소보다는 편향을 줄이는 효과가 크다). 요약하면, 복잡한 주제라고 해서 조사를 포기할 필요는 없지만, 질문은 가능한 한 짧고 간결하게 구성해야 하며, 주제 자체에 익숙하지 않은 응답자층이 클수록 그런 주의가 더욱 필요하다는 결론에 도달합니다.

2024 미국 대선 전국 기준 여론조사는 주로 어느 조사회사가 했고, 어떤 조사방법으로 했을까?

   2024 미국 대선 전국 기준 여론조사는 주로 어느 조사회사가 했고, 어떤 조사방법으로 했을까를 알기 위해 fivethirtyeight에서 여론조사를 정리한 액셀 파일을 받아서 정리를 해보았다.

우선 조사회사별 실시 횟수는 아래와 같다. 우리나라에도 유명(?)한 모닝컨설트가 705건으로 압도적 1위였고, 그 뒤가 유고브였다.

그러면 조사 방법은 어떨까? 충격적이게도 전화면접 온리는 5.1%에 그쳤고, 나머지는 거의 온라인이었다. ARS와 동일한 개념인 IVR이 들어간 조사와 전화면접인 Live Phone이 들어간 조사를 모두 합해도 12.4%에 불과(IVR 온리와 Live Phone온리를 합하면 5.2%)하다. 전화조사는 죽었다는 말이 과언이 아니다.

우리나라는 조사회사가 너무 많고, 선거여론조사도 너무 많이 하는걸까?

 언론에서 우리나라는 조사회사가 너무 많고, 선거여론조사도 너무 많이 한다고들 한다. 그래서 최근 대선 여론조사를 기준으로 미국과 비교해보았다.

결과는 아래와 같다. 미국보다 전국 기준으로 보면 거의 비슷하지만 미국의 경우 주별 조사가 더 많은 걸 고려하면 미국보다 훨씬 적다고 할 수 있다. 조사회사수는 오히려 미국보다 적었다.

보도할 때 팩트체크는 하고 합시다....

아 출처는 한국은 여심위 백서이고, 미국은 fivethirtyeight 사이트를 참고하여 제가 가공하여 산출한 것입니다.

5점 보기 척도에는 양극(Bipolar)과 단극(Unipolar)이 있는데, 혹시 알고 계십니까?

   여론조사 설문지를 보면 태도 문항에서 5점 척도는 정말 자주 등장한다. 2023년 사회조사 조사표에서도 아래와 같이 인간관계 만족도나 사회보험료 부담에 대한 인식 등 5점 척도는 자주 활용되고 있는 실정이다.

   5점 척도는 보통 강한 긍부정-약한 긍부정-중간-약한 긍부정-강한 긍부정으로 구성되는데, 크게 양극(Bipolar)과 단극(Unipolar)으로 나뉜다. 위의 두 그림 중 인간관계 만족도는 양극(Bipolar) 척도이고, 사회보험료 부담에 대한 인식은 단극(Unipolar) 척도이다. 잉? 뭔소리여? 두 개가 동일한 거 아니야? 라고 생각하시는 분들이 많으실텐데 두 척도는 완전히 성격이 다르다.

  최대한 쉽게 설명하자면 양극은 양(+)과 음(-)으로 보기가 이루어진 반면, 단극은 0과 1로 이루어져 있다고 보면 된다. 양극의 예로 든 위 인간관계 만족도 보기를 보면 만족한다가 양이고, 불만족한다는 음이 되는 것이다. 반면  단극의 예로 든 사회보험료 부담에 대한 인식은 부담된다가 1, 부담되지 않는다가 0이 되는 것이다.

  아직도 이해가 안되는 분들을 위해 양극의 예로 든 위 인간관계 만족도 보기를 단극으로 만들어 보면 아래와 같다.

1. 매우 만족한다 2. 약간 만족한다 3. 보통이다 4. 별로 만족하지 않는다 5. 전혀 만족하지 않는다

  문제는 우선 5점 척도를 만들면서 연구자들이 양극인지 단극인지를 인식하지 못하고 있다는 사실인데 이와 관련하여 논문을 보면 아래와 같다.

  요약하면 양극과 단극일때 응답자의 반응이 다르다는 것인데, 여기서 주목할 것은 우리나라 설문에서 5점 척도에서 중간에 해당하는 '보통이다' 워딩이다. 위 논문을 보면 양극과 단극일 때 중간 척도 워딩이 완전히 다른 것을 알 수 있다. 양극일 때는 중간 척도가 둘 다 아닌 중간이라는 의미인 반면, 단극일 때는 살짝 긍정척도 느낌에 가까운 의미이다. 아래 2023 사회조사의 여가 활용 만족도 문항을 봐도 보통을 만족 범주로 고려하는 것을 알 수 있다.

  결론적으로 5점 척도 구성 시 양극인지 단극인지 고려해야 하고, 양극일 경우에는 중간 척도 워딩으로 '보통이다' 보다는 'OO하지도 OO하지도 않는다'로 하는 것이 정확할 것이다. 위 여가 활용 만족도로 예를 들어보면 '만족하지도 불만족하지도 않는다' 정도가 되지 않을까?

2024 미대선 여론조사 모드 비율