복잡한 정책에 대한 설문은 어떻게 해야할까(Asking about Complex Policies)

 정치적 이슈가 점점 복잡해짐에 따라, 여론조사 연구자들은 점점 더 복합적 지식과 분석 능력을 요구하는 수준 높은 정책 주제를 응답자에게 묻게 됩니다. 이는 설문에서 만족화(satisficing, 피상적 또는 대충 응답하는 행태) 문제가 제기될 우려를 높입니다. 본 논문에서는 이러한 ‘만족화’의 한 유형인 응답 순서 효과(response order effect) ― 즉, 시각적으로 제시된 보기 목록에서 맨 위에 있는 선택지를 고르는 경향 ― 의 상관관계를 살펴봅니다.

구체적으로, 우리는 3년간 진행된 설문조사(6,291명 응답자)에 삽입된 무작위 응답 순서 배치 실험을 분석합니다. 이 조사는 미국 연방대법원에서 다룰 40여 가지 복잡한 사안에 대해 여론을 물었습니다(총 84,000건 이상의 응답). 전체적으로 응답 순서 효과는 평균 약 2.8%p로 나타났지만, 질문 길이 및 응답자의 지식 수준에 따라 매우 이질적인 양상을 보였습니다. 즉, 질문이 길수록 효과가 커지고, 대법원 관련 지식이 높은 응답자일수록 효과가 줄었습니다. 두 요인은 상호작용도 나타냈습니다. 지식이 낮은 사람이 질문이 긴 항목에 답할 때, 응답 순서 효과가 최대 17.4%p에 달했습니다. 반면, 질문 문장 자체의 언어적 난이도(‘읽기 난이도’)나 응답자의 학력은 이러한 효과를 유의미하게 조정하지 않았습니다.

이 결과는 ‘복잡한 정책 사안’에 대한 여론조사를 설계할 때 중요한 함의를 지닙니다. 무엇보다, 간결함이 핵심이라는 점을 시사합니다. 정보를 더 상세히 제시하려다 질문이 지나치게 길어지면 만족화가 커질 수 있기 때문입니다. 또한 언어적 난이도를 낮추기 위해 불필요하게 문장을 길게 구성하는 것은 별다른 이점이 없는 것으로 보입니다. 응답자의 학력을 기준으로 표본 가중을 해도 이 문제를 해결하기는 어렵습니다. 왜냐하면, ‘해당 주제에 대한 지식’(영역 특유의 관심도, 사전이해도)과 ‘학력’은 다른 개념이기 때문입니다. 마지막으로, 응답 보기를 무작위로 배열하면 편향은 줄일 수 있지만, 완전히 제거되진 않습니다(측정오차 감소보다는 편향을 줄이는 효과가 크다). 요약하면, 복잡한 주제라고 해서 조사를 포기할 필요는 없지만, 질문은 가능한 한 짧고 간결하게 구성해야 하며, 주제 자체에 익숙하지 않은 응답자층이 클수록 그런 주의가 더욱 필요하다는 결론에 도달합니다.