2025년 6월 29일 일요일

설문조사 척도 설계의 핵심, 단극형과 양극형 제대로 이해하기

 서론: 마음을 재는 자(尺), 모든 것의 시작

우리는 일상에서 키나 몸무게처럼 명확한 단위를 가진 것들을 측정하는 데 익숙합니다. 하지만 ‘만족도’, ‘동의 수준’, ‘행복감’처럼 눈에 보이지 않는 사람의 마음이나 생각은 어떻게 측정할 수 있을까요? 바로 이 지점에서 ‘척도(Scale)’가 등장합니다. 척도는 주관적이고 추상적인 개념을 일정한 규칙에 따라 숫자로 변환하여 분석할 수 있게 만드는 약속이자, 마음을 재는 ‘자’입니다.

수많은 척도 중에서도 리커트 척도(Likert Scale)는 가장 널리 사용됩니다. 하지만 이 척도를 설계할 때 가장 먼저 부딪히는 갈림길이 바로 '단극형(Unipolar)'으로 만들 것인가, '양극형(Bipolar)'으로 만들 것인가의 문제입니다. 이 선택에 따라 질문의 본질과 얻게 되는 데이터의 의미가 완전히 달라지기 때문에, 두 개념을 명확히 이해하는 것은 무엇보다 중요합니다. 이제 그 세계로 깊이 들어가 보겠습니다.

1. 하나의 극, 깊이를 탐험하다: 단극형 척도의 세계

단극형 척도는 이름 그대로 하나의 극(Uni-pole)을 가진 척도입니다. 즉, 측정하려는 하나의 특정 속성이 ‘전혀 없음(0)’에서부터 ‘최대치’까지 얼마나 존재하는지, 그 강도(Intensity)나 양(Amount), 빈도(Frequency)를 측정하는 데 사용됩니다. 마치 물컵에 물이 하나도 없는 상태(0)에서부터 가득 찬 상태(100)까지를 재는 것과 같습니다.

핵심 원리 단극형 척도의 가장 중요한 특징은 절대적인 0점(Zero Point)이 존재한다는 것입니다. 여기서 0점은 측정하려는 속성이 ‘완전히 없는 상태’를 의미합니다. 예를 들어 ‘노력’을 측정한다면 ‘전혀 노력하지 않음’이 0점이 되고, 척도의 반대편 끝은 ‘노력이 최대치에 달함’을 의미합니다. ‘노력하지 않음’의 반대 개념인 ‘게으름’이 척도의 다른 쪽 끝에 오는 것이 아닙니다.

주요 사용 예시 단극형 척도는 주로 ‘얼마나’라는 질문에 답할 때 유용합니다.

  • 노력: 귀하는 이 과제를 위해 얼마나 노력했습니까?

    • ① 전혀 노력하지 않았다 ② 별로 노력하지 않았다 ③ 어느 정도 노력했다 ④ 매우 많이 노력했다

  • 빈도: 귀하는 아침 식사를 얼마나 자주 하십니까?

    • ① 전혀 하지 않는다 ② 거의 하지 않는다 ③ 주 1~3회 한다 ④ 주 4회 이상 한다 ⑤ 매일 한다

  • : 귀하는 지난 일주일간 스트레스를 어느 정도 느꼈습니까? (2024 사회조사표 문항 11)

    • ① 전혀 느끼지 않았다 ② 느끼지 않은 편이다 ③ 느낀 편이다 ④ 매우 많이 느꼈다

단극형과 중간 척도 이론적으로 단극형 척도에서 ‘보통이다’라는 중간 척도는 사용하지 않는 것이 좋습니다. ‘보통’은 양극단의 중간인 ‘중립’의 의미가 강한데, 단극형 척도에는 반대쪽 극단이 없기 때문입니다. 만약 중간값을 넣고 싶다면, ‘보통이다’보다는 ‘중간 정도 ~했다’처럼 강도를 나타내는 표현을 쓰는 것이 더 명확합니다. 이 때문에 많은 단극형 척도는 응답의 모호함을 피하기 위해 아예 중간점이 없는 4점 척도로 설계되기도 합니다.

2. 두 개의 극, 대립 속 균형을 찾다: 양극형 척도의 세계

양극형 척도는 서로 명확하게 대립하는 두 개의 극(Bi-pole)을 양 끝에 두고, 그 사이의 스펙트럼에서 응답자의 입장이나 태도가 어디에 위치하는지를 측정합니다. 마치 시소의 양 끝에 ‘만족’과 ‘불만족’이 앉아 있고, 응답자가 그 시소의 어느 지점에 앉을지 선택하는 것과 같습니다.

핵심 원리 양극형 척도의 핵심은 서로 반대되는 두 개념 사이의 연속선이라는 점입니다. ‘만족’의 반대는 ‘만족하지 않음(0)’이 아니라, ‘불만족’이라는 명백한 반대 감정입니다. 따라서 양극형 척도는 필연적으로 두 개의 상반된 개념을 전제합니다. (예: 동의 vs 반대, 긍정 vs 부정, 좋음 vs 나쁨)

주요 사용 예시 양극형 척도는 주로 특정 대상에 대한 ‘평가’나 ‘태도’, ‘입장’을 물을 때 사용됩니다.

  • 만족도: 현재 삶에 어느 정도 만족하십니까? (2024 사회조사표 문항 1)

    • ① 매우 불만족한다 ② 약간 불만족한다 ③ 보통이다 ④ 약간 만족한다 ⑤ 매우 만족한다

  • 동의 수준: ‘결혼하지 않고도 자녀를 가질 수 있다’는 의견에 동의하십니까? (2024 사회조사표 문항 44)

    • ① 전적으로 반대한다 ② 약간 반대한다 ③ 약간 동의한다 ④ 전적으로 동의한다

  • 평가: 우리 사회의 결혼식 문화를 어떻게 생각하십니까? (2024 사회조사표 문항 45)

    • ① 매우 과도한 편이다 ② 약간 과도한 편이다 ③ 보통이다 ④ 약간 간소한 편이다 ⑤ 매우 간소한 편이다

양극형과 중간 척도 양극형 척도에서 중간 척도인 ‘보통이다’는 매우 중요하고 자연스러운 역할을 합니다. 이는 양쪽 극단 어디에도 치우치지 않는 진정한 중립(Neutral) 지점을 의미합니다. ‘만족하지도, 불만족하지도 않는 상태’, ‘동의하지도, 반대하지도 않는 상태’를 나타내므로, 응답자에게 균형 잡힌 선택지를 제공하는 핵심 요소가 됩니다.

3. 가장 큰 혼란의 지점: 중간 척도의 역할과 진실

많은 사람이 헷갈리는 이유는 바로 이 ‘중간 척도’의 존재와 역할 때문입니다. “어디에는 ‘보통이다’가 있고, 어디에는 없는가?”라는 질문이 혼란의 핵심입니다.

  • 양극형에서의 중간 척도(보통이다): 이는 **‘균형점’ 또는 ‘중립점’**입니다. 시소의 정중앙, 저울의 수평 상태를 의미하며, 양쪽 극단의 힘이 정확히 0이 되는 지점입니다. 따라서 양극형 척도에서 ‘보통이다’는 필수적이고 자연스러운 선택지입니다.

  • 단극형에서의 중간 척도(보통이다): 이는 **‘중간 강도’**를 의미합니다. 물컵에 물이 절반쯤 차 있는 상태입니다. 하지만 ‘보통이다’라는 단어 자체가 ‘중립’의 의미를 강하게 풍기기 때문에, 응답자에게 ‘중간 강도’의 의미로 정확히 전달되지 않을 수 있습니다. 따라서 이론적으로는 ‘중간 정도’, ‘어느 정도’와 같은 표현으로 대체하거나, 아예 중간점을 없앤 4점 척도를 사용하는 것이 더 명확한 방법으로 권장됩니다. (2024 사회조사표의 문항 13 ‘암에 대한 두려움’ 척도가 ‘보통이다’를 포함한 단극형으로 설계되어 비판의 소지가 있었던 것을 기억하실 겁니다.)

‘강제 선택(Forced Choice)’ 기법 연구자는 때때로 응답자가 ‘보통’이나 ‘중립’ 뒤에 숨는 것을 원치 않을 수 있습니다. 응답자의 태도를 좀 더 명확하게 파악하고 싶을 때, 의도적으로 중간 척도를 제거한 4점 척도나 6점 척도를 사용합니다. 이를 ‘강제 선택’ 기법이라고 하며, 응답자는 어쩔 수 없이 긍정 혹은 부정의 방향을 선택해야만 합니다.

4. 무엇을, 어떻게 물을 것인가: 올바른 척도 선택을 위한 최종 가이드

이제 우리는 두 척도의 개념과 특징을 모두 이해했습니다. 마지막으로 어떤 상황에서 어떤 척도를 선택해야 하는지에 대한 실전 가이드를 정리해 보겠습니다.

나의 질문은 무엇을 재려고 하는가? 척도를 선택하기 전, 스스로에게 아래 두 가지 질문을 던져 보십시오.

  1. 하나의 개념이 얼마나 있는지(How much?)를 측정하고 싶은가?

    • 그렇다면 단극형 척도를 선택해야 합니다.

    • (예: 스트레스의 양, 노력의 정도, 학습 시간)

  2. 서로 다른 두 개념 사이에서 어디에 위치하는지(Which direction?)를 측정하고 싶은가?

    • 그렇다면 양극형 척도를 선택해야 합니다.

    • (예: 만족 vs 불만족, 동의 vs 반대, 긍정적 vs 부정적 평가)

구분단극형 (Unipolar)양극형 (Bipolar)
핵심 개념하나의 속성의 강도, 양, 빈도두 개의 대립하는 속성 사이의 위치, 태도
구조0(없음)에서 시작하는 연속선음수(-) 극단에서 양수(+) 극단으로 가는 스펙트럼
중간 척도**'중간 강도'**를 의미. '보통이다'는 부적절할 수 있음.**'중립'**을 의미. '보통이다'는 자연스럽고 중요함.
대표 질문"얼마나 자주/많이/열심히 ~했습니까?""~에 대해 어떻게 생각하십니까? / 만족하십니까?"
대표 예시노력 정도, 사용 빈도, 스트레스 수준만족도, 동의 수준, 찬반 의견

척도는 연구의 목적을 담는 그릇과 같습니다. 어떤 그릇을 사용하느냐에 따라 담기는 내용물의 형태와 해석이 달라집니다. 이제 단극형과 양극형이라는 두 가지 그릇의 특징을 명확히 이해하셨으니, 어떤 질문이든 가장 적합한 그릇에 담아 명료하고 정확한 답을 얻으실 수 있을 것입니다.

2025년 2월 23일 일요일

가상번호를 표집틀로 지역, 성, 연령 할당표집에 전화면접인데 왜 정당지지도가 이렇게 다르지?

   가상번호를 표집틀로 지역, 성, 연령 할당표집에 전화면접조사를 하면 조사마다 약간씩은 차이가 있었지만 최근처럼 이렇게 까지 차이가 나지는 않았었다. 지난 주 한국갤럽과 전국지표조사는 민주당 지지도에서 7%포인트 정도 차이가 나면서 한국갤럽에서는 민주당이 전국지표조사에서는 국민의힘이 약간 우세한 것으로 나타났다.



대표성와 정확성 차원에서 인정 받고 있는 두 조사 간 격차라 더 놀라울 뿐이다.


최근 전화면접 뿐 아니라 전화조사 전체적으로 조사마다 정당지지도가 너무 차이가 나서 매우 혼란스러운 상황이다. 그렇다면 그 원인은 무엇일까?


결론적으로 정당지지에 영향을 강하게 미치는 독립변수인 이념성향의 차이에서 기인한다고 볼 수 있다. 쉽게 말해 언론에서 보수가 너무 많이 잡혔느니, 진보가 너무 많이 잡혔느니하는 이슈이다. 좀 더 어렵게 얘기해보자면 지금까지는 보조변수로서 지역, 성, 연령만 고려해도 큰 문제가 없었지만 정치적 양극화가 심화되면서 이념성향 역시 보조변수로서 부각되기 시작했는데, 문제는 이념성향이라는 보조변수가 결과(정당지지)와만 연관이 높고, 선정 확률과는 무관하기 때문에(소위 할당변인으로 이념을 고려하지 않기 때문에), 보정을 통해 분산은 줄일 수 있지만 선택 편향은 감소시키지 못한다는 것이다.





2025년 2월 17일 월요일

잦은 조사 요청과 응답률 하락(Frequent Survey Requests and Declining Response Rates)

 조사(survey) 응답률이 시간이 지날수록 하락하고 있다는 사실은 널리 알려져 있습니다(Williams and Brick 2018; Dutwin and Buskirk 2021). 이에 대한 설명으로 여러 가설이 제기되어 왔습니다(Czajka and Beyler 2016). 그중 하나가 지난 수십 년간 조사 건수가 증가했다는 ‘잦은 조사 요청(frequent survey request)’ 가설입니다(Leeper 2019). 즉, 모든 종류의 조사가 늘어나면서 사람들이 이전보다 훨씬 자주 조사 요청을 접하고, 그 결과 각각의 조사 요청에 응답할 동기가 줄어든다는 것입니다. Sheppard(2001)에 따르면, “지난해에 조사에 참여했다”고 답한 미국인이 1980년 20%에서 2001년 60%로 늘었다고 합니다. 하지만 조사 건수가 급증한 사실과 조사 응답률이 하락한 사실만 놓고 이를 인과관계로 단정하기는 어렵습니다. 응답률 하락은 ‘잦은 조사 요청’이 아닌, 기타 사회적 변화 때문에 발생했을 수도 있습니다(예: 사람들이 더 바빠졌거나[Vercruyssen et al. 2011], 사회 통합이 약화되었거나[Couper and Groves 1996; Amaya and Harring 2017], 정치인에 대한 신뢰가 하락했거나[Harris-Kojetin and Tucker 1999], 1인가구 증가[Brick and Williams 2013] 등).

의의(Statement of Significance)
오늘날 사람들은 예전보다 조사에 훨씬 덜 응답합니다. 그 이유 중 하나로, 과거에 비해 조사가 전반적으로 많아져서 사람들은 조사 요청에 짜증을 내거나, 서로 다른 조사를 구분하지 못해 결국 어떤 조사든 응답을 피하게 된다는 해석이 있습니다. 하지만 이를 입증하는 직접적 증거는 지금까지 거의 없었습니다. 본 연구는 그 빈틈을 보완하는 사례 연구를 제시합니다. 구체적으로, 최근(2015~2019)에 미국커뮤니티조사(ACS)나 인구조사국이 수행하는 가구조사(CPS)에 표본으로 선정되었던 가구가 2020년 인구센서스에 자기응답(self-response) 을 덜 했다는 점을 보였습니다. 특히, 인구센서스는 법적으로 응답 의무가 있음에도 이런 경향이 나타나므로, 정부 이외 기관이 실시하는 임의조사에도 같은 현상이 나타날 가능성이 높다고 볼 수 있습니다. 따라서 본 연구는, 한 번 조사에 선정된 후 근접 시점의 또 다른 조사에 응답할 확률이 낮아지는, 이른바 ‘조사 피로(survey fatigue)’나 ‘조사 혼동(survey confusion)’ 현상을 새롭게 확인했다는 의의를 갖습니다.



복잡한 정책에 대한 설문은 어떻게 해야할까(Asking about Complex Policies)

 정치적 이슈가 점점 복잡해짐에 따라, 여론조사 연구자들은 점점 더 복합적 지식과 분석 능력을 요구하는 수준 높은 정책 주제를 응답자에게 묻게 됩니다. 이는 설문에서 만족화(satisficing, 피상적 또는 대충 응답하는 행태) 문제가 제기될 우려를 높입니다. 본 논문에서는 이러한 ‘만족화’의 한 유형인 응답 순서 효과(response order effect) ― 즉, 시각적으로 제시된 보기 목록에서 맨 위에 있는 선택지를 고르는 경향 ― 의 상관관계를 살펴봅니다.

구체적으로, 우리는 3년간 진행된 설문조사(6,291명 응답자)에 삽입된 무작위 응답 순서 배치 실험을 분석합니다. 이 조사는 미국 연방대법원에서 다룰 40여 가지 복잡한 사안에 대해 여론을 물었습니다(총 84,000건 이상의 응답). 전체적으로 응답 순서 효과는 평균 약 2.8%p로 나타났지만, 질문 길이 및 응답자의 지식 수준에 따라 매우 이질적인 양상을 보였습니다. 즉, 질문이 길수록 효과가 커지고, 대법원 관련 지식이 높은 응답자일수록 효과가 줄었습니다. 두 요인은 상호작용도 나타냈습니다. 지식이 낮은 사람이 질문이 긴 항목에 답할 때, 응답 순서 효과가 최대 17.4%p에 달했습니다. 반면, 질문 문장 자체의 언어적 난이도(‘읽기 난이도’)나 응답자의 학력은 이러한 효과를 유의미하게 조정하지 않았습니다.

이 결과는 ‘복잡한 정책 사안’에 대한 여론조사를 설계할 때 중요한 함의를 지닙니다. 무엇보다, 간결함이 핵심이라는 점을 시사합니다. 정보를 더 상세히 제시하려다 질문이 지나치게 길어지면 만족화가 커질 수 있기 때문입니다. 또한 언어적 난이도를 낮추기 위해 불필요하게 문장을 길게 구성하는 것은 별다른 이점이 없는 것으로 보입니다. 응답자의 학력을 기준으로 표본 가중을 해도 이 문제를 해결하기는 어렵습니다. 왜냐하면, ‘해당 주제에 대한 지식’(영역 특유의 관심도, 사전이해도)과 ‘학력’은 다른 개념이기 때문입니다. 마지막으로, 응답 보기를 무작위로 배열하면 편향은 줄일 수 있지만, 완전히 제거되진 않습니다(측정오차 감소보다는 편향을 줄이는 효과가 크다). 요약하면, 복잡한 주제라고 해서 조사를 포기할 필요는 없지만, 질문은 가능한 한 짧고 간결하게 구성해야 하며, 주제 자체에 익숙하지 않은 응답자층이 클수록 그런 주의가 더욱 필요하다는 결론에 도달합니다.



2025년 2월 16일 일요일

2024 미국 대선 전국 기준 여론조사는 주로 어느 조사회사가 했고, 어떤 조사방법으로 했을까?

   2024 미국 대선 전국 기준 여론조사는 주로 어느 조사회사가 했고, 어떤 조사방법으로 했을까를 알기 위해 fivethirtyeight에서 여론조사를 정리한 액셀 파일을 받아서 정리를 해보았다.


우선 조사회사별 실시 횟수는 아래와 같다. 우리나라에도 유명(?)한 모닝컨설트가 705건으로 압도적 1위였고, 그 뒤가 유고브였다.


그러면 조사 방법은 어떨까? 충격적이게도 전화면접 온리는 5.1%에 그쳤고, 나머지는 거의 온라인이었다. ARS와 동일한 개념인 IVR이 들어간 조사와 전화면접인 Live Phone이 들어간 조사를 모두 합해도 12.4%에 불과(IVR 온리와 Live Phone온리를 합하면 5.2%)하다. 전화조사는 죽었다는 말이 과언이 아니다.



우리나라는 조사회사가 너무 많고, 선거여론조사도 너무 많이 하는걸까?

 언론에서 우리나라는 조사회사가 너무 많고, 선거여론조사도 너무 많이 한다고들 한다. 그래서 최근 대선 여론조사를 기준으로 미국과 비교해보았다.


결과는 아래와 같다. 미국보다 전국 기준으로 보면 거의 비슷하지만 미국의 경우 주별 조사가 더 많은 걸 고려하면 미국보다 훨씬 적다고 할 수 있다. 조사회사수는 오히려 미국보다 적었다.


보도할 때 팩트체크는 하고 합시다....

아 출처는 한국은 여심위 백서이고, 미국은 fivethirtyeight 사이트를 참고하여 제가 가공하여 산출한 것입니다.

2024년 9월 5일 목요일

5점 보기 척도에는 양극(Bipolar)과 단극(Unipolar)이 있는데, 혹시 알고 계십니까?

   여론조사 설문지를 보면 태도 문항에서 5점 척도는 정말 자주 등장한다. 2023년 사회조사 조사표에서도 아래와 같이 인간관계 만족도나 사회보험료 부담에 대한 인식 등 5점 척도는 자주 활용되고 있는 실정이다.



   5점 척도는 보통 강한 긍부정-약한 긍부정-중간-약한 긍부정-강한 긍부정으로 구성되는데, 크게 양극(Bipolar)과 단극(Unipolar)으로 나뉜다. 위의 두 그림 중 인간관계 만족도는 양극(Bipolar) 척도이고, 사회보험료 부담에 대한 인식은 단극(Unipolar) 척도이다. 잉? 뭔소리여? 두 개가 동일한 거 아니야? 라고 생각하시는 분들이 많으실텐데 두 척도는 완전히 성격이 다르다.

  최대한 쉽게 설명하자면 양극은 양(+)과 음(-)으로 보기가 이루어진 반면, 단극은 0과 1로 이루어져 있다고 보면 된다. 양극의 예로 든 위 인간관계 만족도 보기를 보면 만족한다가 양이고, 불만족한다는 음이 되는 것이다. 반면  단극의 예로 든 사회보험료 부담에 대한 인식은 부담된다가 1, 부담되지 않는다가 0이 되는 것이다.

  아직도 이해가 안되는 분들을 위해 양극의 예로 든 위 인간관계 만족도 보기를 단극으로 만들어 보면 아래와 같다.
1. 매우 만족한다 2. 약간 만족한다 3. 보통이다 4. 별로 만족하지 않는다 5. 전혀 만족하지 않는다

  문제는 우선 5점 척도를 만들면서 연구자들이 양극인지 단극인지를 인식하지 못하고 있다는 사실인데 이와 관련하여 논문을 보면 아래와 같다.



  요약하면 양극과 단극일때 응답자의 반응이 다르다는 것인데, 여기서 주목할 것은 우리나라 설문에서 5점 척도에서 중간에 해당하는 '보통이다' 워딩이다. 위 논문을 보면 양극과 단극일 때 중간 척도 워딩이 완전히 다른 것을 알 수 있다. 양극일 때는 중간 척도가 둘 다 아닌 중간이라는 의미인 반면, 단극일 때는 살짝 긍정척도 느낌에 가까운 의미이다. 아래 2023 사회조사의 여가 활용 만족도 문항을 봐도 보통을 만족 범주로 고려하는 것을 알 수 있다.



  결론적으로 5점 척도 구성 시 양극인지 단극인지 고려해야 하고, 양극일 경우에는 중간 척도 워딩으로 '보통이다' 보다는 'OO하지도 OO하지도 않는다'로 하는 것이 정확할 것이다. 위 여가 활용 만족도로 예를 들어보면 '만족하지도 불만족하지도 않는다' 정도가 되지 않을까?




ARS가 득표율과 비슷한 것은 정확해서가 아니다

ARS가 득표율과 비슷한 것은 정확해서가 아니다 선거가 다가오면 어김없이 반복되는 논쟁이 있다. ARS 조사가 전화면접보다 실제 득표율에 더 가깝다는 주장이다. 리얼미터 등 19개사가 속한 한국정치조사협회는 "각 당 싱크탱크도 ARS를 선호할...