오승호 서베이 방법론 저작 목록

서베이, 아홉 권

오승호 지음 · 커뮤니케이션북스

묻는법에서시작해읽는법으로끝난다.설문지와척도를설계하고,웹과전화와혼합방식으로데이터를모으고,흔들리는표집을다시세우고,조사의일부를AI에게맡기는단계까지.서베이의처음부터끝까지를아홉권이차례로다룬다.

一

묻는 법

측정 설계

설문지 작성법

질문 하나가 응답을 바꾼다. 문항 유형과 어순, 보기 구성, 수요와 공급을 혼동하지 않는 질문 만들기까지, 설문지를 쓰는 실무 원칙을 다룬다.

서베이 척도 설계법

개념 정의에서 척도 구성까지. 점수 개수, 중간점, 무응답 처리처럼 실무자가 매번 부딪히는 측정의 세부를 결정하는 기준을 제시한다.

二

모으는 법

조사 방식

웹서베이

데이터 수집이 종이와 전화를 떠나 화면 위로 옮겨온 뒤, 조사 설계는 무엇이 달라졌는가. 웹 기반 조사의 원리와 활용법.

혼합조사, Mixed-Mode Survey

전화만으로도, 웹만으로도 충분하지 않은 시대. 두 가지 이상의 조사 방식을 결합하는 설계와 거기서 생기는 오차를 다룬다.

三

뽑는 법

표본 설계

확률 표집 위기와 비확률 표집 설계

응답률이 떨어지고 표집틀이 흔들리는 시대. 확률 표집과 비확률 표집을 어떻게 선택하고, 어떻게 보정할 것인가.

四

맡기는 법

AI와 서베이

AI와 웹서베이 2.0

AI가 설문 작성과 데이터 점검에 들어온 뒤의 웹서베이. 리서치 전 과정에서 자동화가 어디까지 가능하고 어디서 사람이 판단해야 하는지를 다룬다.

AI 면접원 전화조사

사람 면접원의 목소리를 AI가 대신할 때 전화조사는 어떻게 달라지는가. 음성 AI 조사의 작동 원리, 가능성과 한계.

신세틱 서베이: AI 서베이

'사람에게 묻는다'는 전제가 흔들린다. 합성 응답자의 등장 배경과 시장 지형도, 검증 방법론, 연구자와 실무자를 위한 활용 가이드까지.

五

읽는 법

해석

여론조사 해석법 근간

'표본오차 ±3.1%p' 한 줄은 무엇을 말하고 무엇을 말하지 않는가. 조사가 어떻게 나쁘게 읽히는지를 '해석오차'라는 새 개념으로 설명하고, 숫자에 실린 불확실성을 먼저 묻는 습관을 남긴다.

오승호 · 오피니언즈 부대표 · method-survey.blogspot.com

커뮤니케이션북스

설문조사 연구에서의 책임 있는 AI 통합

 

설문조사 연구에서의 책임 있는 AI 통합

Responsible AI Integration in Survey Research

미국여론조사협회(AAPOR) 태스크포스 보고서 (2026) · 한국어 요약본

보고서 개요

이 글은 미국여론조사협회(AAPOR)가 2026년 5월에 펴낸 「설문조사 연구에서의 책임 있는 AI 통합」을 간추린 것이다. 원 보고서는 David Rothschild(Microsoft Research)와 Jenny Marlar(Gallup)가 공동 의장을 맡은 태스크포스가 작성했다. 인공지능, 그중에서도 대규모 언어모델(LLM)이 질문을 만들고 데이터를 모으고 분석하고 결과를 전하는 모든 단계에 빠르게 들어오면서, 기존 품질 기준만으로는 답하기 어려운 방법론·윤리·거버넌스 문제가 함께 생겼다. 보고서는 이 변화를 정리하는 틀을 제시하고, 총조사오차(TSE)와 인간 피험자 보호라는 두 잣대로 AI의 효용과 위험을 가늠한다. 그리고 설문에서 AI를 어떻게 썼는지 밝히는 실용적인 공개 프레임워크를 내놓는다.

독자는 일반 대중이 아니라 설문을 설계하고 수행하고 해석하는 사람들이다. 보고서는 가능한 모든 청중을 한꺼번에 다루려다 명료함을 잃기보다, 설문 데이터를 직접 다루는 사람들의 필요와 제약에 집중한다.

보고서는 AI를 쓸지 말지를 묻지 않는다. 이미 들어와 있는 AI를 어디에, 어떻게, 얼마나 사람의 감독 아래 두고 쓸지를 묻는다. 그래서 한 번에 처음부터 끝까지 읽기보다, 자기 일과 가장 가까운 부분을 골라 읽도록 짜였다. 이 요약도 대체로 그 차례를 따른다.

AI에 대한 이해

AI는 보통 사람의 지능이 필요한 일을 해내도록 만든 계산 시스템을 두루 가리킨다. 그 가운데 머신러닝은 규칙을 일일이 정해 주는 대신 데이터에서 규칙을 배우는 방식이고, 생성형 AI는 배운 통계를 바탕으로 글이나 이미지, 음성 같은 새로운 내용을 만들어 낸다. 설문조사에서 자주 쓰는 대규모 언어모델(LLM)은 앞선 글자들을 보고 다음에 올 글자를 예측하도록 방대한 글로 학습한 모델이다. 목표는 단순하지만 규모가 커지면서 요약, 다시 쓰기, 분류, 초안 작성 같은 일을 제법 해낸다.

AI가 잘하는 일은 분명하다. 크고 복잡한 데이터에서 패턴을 찾고, 반복적이고 시간이 많이 드는 처리를 빠르게 하며, 요약과 번역, 범주화 같은 언어 작업을 잘 다룬다. 설문조사에서는 설문지 초안과 다듬기, 주관식 응답 코딩, 선행 연구 정리, 질적 자료의 주제 찾기, 탐색적 분석이 여기에 든다. 반대로 약한 곳도 또렷하다. 같은 프롬프트에 다른 답을 내놓아 재현을 어렵게 하고, 그럴듯하지만 틀린 내용을 자신 있게 말하며, 왜 그런 답이 나왔는지 설명하기 어렵다. 학습 데이터에 잘 담기지 않은 드문 일이나 빠르게 변하는 현상에는 특히 약하다.

보고서는 부록에서 설문조사 너머의 약속과 위험도 정리한다. 잘 쓰면 AI의 쓸모는 넓다. 기후나 보건처럼 규모가 큰 문제의 방대한 데이터를 통합해 예측과 최적화를 돕고, 번역과 개인 맞춤으로 정보 접근의 문턱을 낮춘다. 교육과 진료를 개인에 맞추고, 일상적이고 반복적인 일을 덜어 생산성을 높이기도 한다. 이런 쓸모는 왜 여러 분야가 AI에 빠르게 투자하는지를 설명한다.

그러나 같은 기술이 위험도 함께 키운다. 학습 데이터에 담긴 편향을 되풀이해 특정 집단에 불리한 결과를 내고, 설득력 있는 거짓 정보를 값싸고 빠르게 퍼뜨린다. 일자리를 흔들고, 모델 학습과 운영에 드는 에너지와 물로 환경에 부담을 주며, 사람들이 AI에 지나치게 기대면서 스스로 판단하고 검증하는 힘이 약해진다는 걱정도 있다. 이런 위험은 설문조사만의 문제가 아니지만, 책임 있는 AI 사용을 따질 때 늘 배경에 깔리는 조건이다.

네 가지 전제

보고서는 네 가지 전제 위에 서 있다. 먼저 AI는 설문조사를 위해 따로 만든 도구가 아니라 범용 기술이다. 그래서 위험과 효용은 AI를 쓰느냐 마느냐가 아니라, 설문 생애주기의 어디에 어느 정도의 감독을 두고 배치하느냐에 더 크게 달려 있다. 다음으로 지금 기술 수준에서 AI는 사람을 대체하기보다 일을 거드는 쪽에 가깝다. 발상을 빠르게 돕고 질문 방식을 다듬고 분석을 지원하지만, 연구자의 판단을 대신하지는 않는다. 가장 큰 변화는 아직 앞에 놓여 있다고 보는 편이 옳다.

또한 이 보고서는 논의의 끝이 아니라 출발점이다. 무엇이 위험이고 무엇을 밝혀야 하는지는 기술이 자리를 잡으며 바뀔 수밖에 없으므로, 지금의 관행을 읽고 표준이 어떻게 적응해야 할지를 내다보는 틀로 받아들이는 것이 맞다. 끝으로 총조사오차와 검증, 평가자 간 신뢰도, 공개 같은 전통적인 품질 원칙은 여전히 유효하다. 다만 비결정적이고 속을 들여다보기 어려우며 예고 없이 갱신되는 모델을 감안해 손질해야 한다.

설문조사에서 AI가 맡는 역할

보고서는 설계, 수집, 분석, 보고라는 익숙한 순서를 따르지 않는다. 대신 AI가 맡는 일을 위험이 큰 것부터 작은 것 순으로 다섯 가지 역할로 나눈다. 이렇게 늘어놓으면 어디에 더 많은 연구와 더 높은 투명성, 더 강한 감독이 필요한지가 또렷해진다. 같은 역할 안에서도 위험은 일의 범위, AI에 맡긴 자율성의 크기, 사람이 실제로 검토할 수 있는 정도에 따라 크게 달라진다.

표 1. AI의 역할별 위험과 현재 보급도

역할	위험	현재 보급도
데이터 수집자	높음	중간
분석가	높음	높음
브리핑 담당	관리 가능	중간
동료	관리 가능	높음
전 과정 자동화	매우 높음	낮음

데이터를 모으는 자리에서 AI는 대화형 면접원으로 설문을 진행하거나 사람 대신 답하는 합성 응답자로 쓰인다. 대화형 면접은 어떤 경우 참여도와 응답자의 이해를 높이지만, 표준화를 어렵게 만들고 중립성과 동의, 측정오차를 둘러싼 새로운 우려를 부른다. 합성 응답은 사전검사나 파일럿, 탐색적 진단처럼 분명히 표시한 범위를 넘어서면 타당도와 공개에서 특히 큰 문제를 일으킨다. 분석 단계로 오면 AI는 전사와 번역, 데이터 정제, 주관식 응답 코딩, 주제별 군집화, 탐색적 모델링에 두루 쓰인다. 일부 분류 작업에서는 사람에 가까운 성능을 내며 비용과 시간을 크게 줄이지만, 프롬프트와 모델 버전에 따른 불안정, 도메인 편향, 속을 알기 어려운 변환이 새로운 처리오차를 들여온다. 그래서 명시적인 문서화와 민감도 분석, 사람의 검증이 빠질 수 없다.

특히 합성 응답자는 최근 논쟁이 뜨거운 자리다. AI로 수천 건의 답을 만들어 설문지를 미리 시험하거나 응답 분포를 가늠하는 쓰임은 비용을 크게 줄인다. 그러나 합성 응답을 실제 사람의 응답을 대신하는 데까지 밀고 가면, 특정 집단을 평평하게 뭉개거나 실제로는 없는 패턴을 지어낼 위험이 있다. 보고서는 이런 쓰임을 분명히 표시된 사전검사와 파일럿의 범위 안에 두라고 권한다.

보고와 전달 단계에서 AI는 정적인 보고서를 대화형 설명으로 바꾸어, 특히 전문가가 아닌 독자의 이해를 돕는다. 다만 요약이 불확실성과 단서 조항, 방법의 전제를 지워 버리면 지나친 단순화와 잘못된 추론, 환각, 오용의 위험이 함께 커진다. 설계와 발상을 돕는 동료로서 AI는 설문지와 프로토콜, 관련 자료를 초안 잡고 다듬고 검증하고 번역하는 데 쓰인다. 사람이 현장에 넣기 전에 검토하고 고치므로 비교적 낮은 위험으로 생산성을 크게 올리지만, 연구자가 판단을 지나치게 넘겨 버리거나 학습 데이터에서 물려받은 편향, AI가 내놓은 표현에 대한 근거 없는 확신 같은 위험은 남는다. 마지막으로 여러 역할을 하나로 묶어 처음부터 끝까지 자동으로 도는 시스템은 위험을 크게 키운다. 비용과 주기를 의미 있게 줄일 수 있지만 재현 가능성과 비교 가능성, 추적 가능성, 거버넌스를 위협한다. 사람이 확인하는 단계와 버전 관리, 공개 장치를 처음부터 넣지 않으면 의사결정 경로가 가려져 결과를 믿기 어려워진다. 실무에서 아직 드물기에 마지막에 두지만, 위험으로 보면 가장 앞자리에 있다.

이렇게 다섯 역할을 위험순으로 늘어놓으면, 지금의 쓰임이 왜 대체가 아니라 보조에 가까운지가 드러난다. 한 분석은 설문 연구자의 일에서 AI가 현재 약 16퍼센트를 자동화하고 24퍼센트를 거든다고 본다. 자동화된 몫보다 거드는 몫이 더 크다는 것이다. 다만 이 비율은 기술이 자리를 잡으며 빠르게 움직일 수 있고, 보고서가 거듭 말하듯 가장 큰 변화는 아직 오지 않았다.

AI 활용을 평가하는 기준

AI가 맡은 일을 잘 해내는지 따지려면 그 일이 무엇인지부터 분명히 해야 한다. 겉보기에 비슷한 작업에서 성능이 좋았다고 해서 다른 일에서도 타당하다는 보장은 없다. 보고서는 평가를 네 가지 기준으로 정리한다. 타당도는 모델이 의도한 일을 제대로 겨냥하는지를 본다. 성능은 그 일을 효과적으로 해내는지를 따진다. 민감도는 프롬프트와 입력, 모델이 조금씩 바뀌어도 결과가 견디는지를 살핀다. 신뢰도는 같은 조건을 반복했을 때 실질적으로 일관된 결과가 나오는지를 확인한다.

예를 들어 사전검사에서 응답을 잘 코딩하던 모델이 새로운 주제로 옮겨 가면 엉뚱한 분류를 내놓을 수 있다. 이는 성능이 아니라 타당도의 문제다. 프롬프트의 사소한 표현 차이나 모델 갱신만으로 결과가 출렁인다면 민감도가 낮은 것이고, 같은 입력에 매번 다른 답이 돌아온다면 신뢰도가 흔들리는 것이다. 네 기준을 함께 봐야 하는 까닭은, 한 가지가 좋아도 나머지가 무너지면 그 결과를 믿을 수 없기 때문이다.

네 기준은 함께 작동하며, 총조사오차나 목적 적합성 평가처럼 이미 쓰던 접근과 잘 맞물린다. 보고서는 정해진 벤치마크를 강요하지 않는다. 대신 일과 상황에 맞춰 평가를 안내하는 체계적인 점검 항목을 제공한다. 같은 정신에서 보고서는 해야 할 일과 하지 말아야 할 일도 함께 정리하는데, 사람이 책임지고 검토할 수 있을 때 AI를 쓰고 검증과 문서화 없이 결과를 그대로 받아들이지 말라는 것이 그 골자다.

보고서가 전통적 품질 원칙을 버리지 않는 까닭은, AI가 들여오는 위험이 대부분 이미 알던 오차의 새로운 모습이기 때문이다. AI가 면접을 진행하거나 사람 대신 답하는 자리에서는 측정과 적용 범위의 오차가 문제가 된다. 합성 응답이 실제 응답을 대신하면 표본이 모집단을 제대로 담는지부터 흔들린다. AI가 전사와 코딩, 변환을 맡는 분석 단계에서는 처리오차가 새로 생긴다. 설문지를 다듬거나 결과를 요약하는 자리에서는 질문이 무엇을 재는지, 요약이 무엇을 지우는지에 따라 설정오차와 해석의 문제가 따라온다. 그래서 총조사오차의 틀은 AI 시대에도 그대로 쓸모가 있다. 어떤 오차가 어디서 끼어드는지를 가리켜 주고, 그 자리마다 검증과 공개가 왜 필요한지를 일러 주기 때문이다.

실무를 위한 지침

보고서는 평가 기준과 함께 설문 제작자가 곧바로 쓸 수 있는 지침을 정리한다. 무엇보다 AI가 내놓은 결과를 사람이 책임지고 검토할 수 있을 때에만 그 일을 AI에 맡긴다. 작업이 끝나면 결과를 사람이 만든 기준이나 표본과 견주어 검증하고, 가능하면 일부를 직접 코딩하거나 분석해 맞춰 본다. 어떤 모델을 어떤 프롬프트로 어떻게 썼는지, 사람이 어디서 손을 댔는지를 기록으로 남긴다. 같은 프롬프트라도 실행할 때마다 다른 답이 나올 수 있으므로, 재현이 필요한 작업에서는 모델 버전과 설정을 고정하고 결과의 변동을 함께 보고한다. 끝으로 새로 나타나는 현상이나 드문 사건처럼 학습 데이터에 잘 담기지 않은 일에는 AI의 판단을 그대로 믿지 않는다. 이런 경우 모델은 틀린 답도 자신 있게 내놓기 때문이다.

무엇을 공개해야 하는가

이 보고서가 내놓은 가장 실질적인 결과물은 설문에서 AI를 어떻게 썼는지 밝히는 공개 표준이다. 공개는 두 단계로 나뉜다.

표 2. 공개의 두 단계

공개 수준	무엇을 밝히는가
필수 공개	AI를 사용한 작업과 그 목적, 사람이 검토하고 책임지는 정도. 어떤 설문에서든 적용된다.
강화 공개	모델 이름과 버전, 오픈소스 여부, 파인튜닝 여부, 검색 증강(RAG) 사용, 사용한 프롬프트와 지시. 위험이 크거나 투명성이 더 필요할 때 더한다.

필수 공개는 보고 부담을 늘리지 않으면서도 독자가 결과를 이해하고 위험을 가늠하는 데 꼭 필요한 정보만 담는다. 강화 공개는 위험이 크거나 투명성이 더 중요한 경우에 더하며, 결과를 다시 따져 보려는 사람이 알아야 할 모델과 절차의 세부를 채운다. 이 체크리스트는 이해와 위험 평가에 실제로 도움이 되는 정보에 초점을 두도록(실용성), 기술이 바뀌어도 적응할 수 있도록(확장성), 기존 설문 보고 표준과 나란히 쓰이도록(상호운용성) 설계되었다. 보고서는 또한 같은 정보라도 발간 유형과 활용 사례에 따라 공개의 깊이가 달라질 수 있음을 인정하고, 짧은 사례 네 가지를 들어 어느 정도가 적절한지를 보여 준다.

네 가지 사례는 같은 원칙이 쓰임에 따라 어떻게 다르게 적용되는지 보여 준다. 동료로서 설문지를 다듬는 데 AI를 쓴 경우와, 면접을 직접 진행하거나 사람 대신 답하게 한 경우, 그리고 분석에서 응답을 코딩하거나 추정에 쓴 경우는 밝혀야 할 내용의 무게가 서로 다르다. 위험이 낮고 사람이 충분히 검토한 쓰임은 간단한 표시로 충분하지만, 응답이나 추정에 직접 닿는 쓰임일수록 모델과 절차를 자세히 드러내야 한다. 투명성은 설문 제작자에게만 해당하지 않는다. AI가 설문 플랫폼에 깊이 들어가면서, 어떤 도구와 모델이 쓰였는지는 인프라를 공급하는 쪽에서도 밝혀야 사용자가 제대로 평가할 수 있다.

인간 피험자에 대한 책임

보고서는 AI가 연구자의 윤리적 의무를 덜어 주기는커녕 오히려 무겁게 한다고 본다. 공개와 동의, 데이터 보호, 위험 평가, 공정성은 AI가 만들어 내는 추론과 자동화, 그리고 데이터가 나중에 다시 쓰이는 일까지 함께 고려해야 한다. 예컨대 응답자가 동의한 범위를 넘어 AI가 새로운 정보를 추론해 낼 수 있고, 학습 데이터에 담긴 편향이 특정 집단을 잘못 그리거나 지워 버릴 수 있다.

의무는 다섯 가지로 나누어 살필 수 있다. 응답자에게 AI가 설문에 어떻게 관여하는지 알리고, AI에 의한 추론과 데이터의 재사용까지 포함해 동의를 받으며, 응답이 모델 학습이나 바깥으로 새지 않도록 지킨다. AI가 더한 위험은 미리 따지고, 특정 집단이 잘못 그려지거나 통계에서 빠지지 않도록 공정성을 점검한다. 이 의무들은 AI를 쓴다고 줄어드는 것이 아니라, AI가 할 수 있는 일이 늘어날수록 함께 커진다. 태스크포스는 벨몬트 보고서와 멘로 보고서로 대표되는 기존의 연구 윤리 틀을 빌려 오면서, AI 능력이 커질수록 위험에 비례하는 안전장치와 꾸준한 재평가, 참여자를 가운데 두는 설계가 필요하다고 말한다. 더 넓게는 AI를 떠받치는 보이지 않는 노동과 자원의 불균형처럼, 설문 바깥으로 이어지는 윤리 문제도 배경에 둔다.

맺음말

AI는 설문조사를 대신하지 않는다. 대신 그것을 깊이 바꿔 놓을 것이다. 책임 있게 쓰면 효율을 높이고 방법이 닿는 범위를 넓히며 통찰에 이르는 문턱을 낮춘다. 부주의하거나 속이 보이지 않게 쓰면 타당도와 신뢰, 그리고 설문에 기반한 증거에 대한 사회의 믿음을 갉아먹는다. 이 보고서는 분야가 지켜 온 가치를 버리지 않으면서 혁신이 이어지도록, 원칙과 틀과 손에 잡히는 도구를 함께 내놓는다.

보고서는 이 작업을 끝이 아니라 시작으로 본다. 위험과 공개 기준은 기술이 바뀌며 함께 손질되어야 하고, 그 일은 한 기관이나 한 보고서가 아니라 연구 공동체 전체의 몫이다. AAPOR는 이 보고서가 그런 논의의 공통 바탕이 되고, 설문을 만드는 사람들이 저마다의 자리에서 책임 있는 선택을 내리는 데 실제로 쓰이기를 바란다.

주요 용어

용어	뜻
총조사오차(TSE)	설문 결과에 끼어드는 모든 오차를 함께 보는 틀. 표집뿐 아니라 측정·처리·설정 단계의 오차를 아우른다.
합성 응답자	사람 대신 AI가 만들어 낸 모사 응답. 실제 사람의 답을 대신하지는 않는다.
환각	AI가 근거 없는 내용을 사실인 양 자신 있게 내놓는 일.
휴먼인더루프	AI의 결과를 사람이 검토하고 고치고 승인하는 절차를 둔 방식.
파인튜닝	미리 학습된 모델을 특정 용도의 데이터로 더 학습시켜 맞추는 일.
검색 증강(RAG)	모델이 답할 때 외부 문서를 찾아와 근거로 쓰게 하는 방법.

원문:https://aapor.org/wp-content/uploads/2026/05/Responsible-AI-Integration-In-Survey-Research.pdf

재미있는 샘플매칭 이야기

재미있는 샘플매칭 이야기

약효를 재던 통계 도구가 어떻게 여론조사 표집 방법이 되었나

여론조사 업계에서 샘플매칭이라고 하면 보통 유고브(YouGov)의 간판 기술로 통한다. 비확률 온라인 패널을 가지고 전화조사 못지않은, 때로는 더 정확한 추정치를 만들어 낸다는 그 방법이다. 그런데 이 방법을 두고 흔히 오해하는 게 하나 있다. 유고브가 무에서 발명한 독자 기법이라는 생각이다. 사실은 그렇지 않다. 샘플매칭은 통계학에서 이미 수십 년간 쓰이던 도구를 옮겨 온 것이다.

더 흥미로운 것은 빌려 온 출처다. 우리가 표집을 배울 때 나오는 표본조사론이 아니다. 샘플매칭의 뿌리는 인과추론, 그중에서도 약이나 정책의 효과를 추정하는 관찰연구(observational study)에 있다. 무작위 실험이 불가능한 상황에서 편향을 걷어 내려고 만든 통계 도구가, 어느 순간 여론조사 표집 방법으로 변신했다. 이 변신이 어떻게 일어났는지, 그리고 그 변신이 성립하려면 무엇이 필요한지를 차례로 정리해 본다.

표집이 아니라 인과추론에서 왔다

관찰연구의 문제는 이렇게 생겼다. 어떤 약을 먹은 사람들과 먹지 않은 사람들의 건강 상태를 그냥 비교하면 약효를 알 수 없다. 약을 먹기로 한 사람들은 애초에 건강을 더 챙기는 사람들일 수도 있고, 반대로 이미 아파서 약을 먹은 사람들일 수도 있다. 두 집단이 출발선부터 다르기 때문에, 나중에 나타난 차이가 약 때문인지 원래 차이 때문인지 구분되지 않는다. 무작위 배정이라면 이 문제가 사라진다. 동전을 던져 약을 줄지 말지 정하면 두 집단이 평균적으로 같아지기 때문이다. 그러나 현실의 관찰 데이터에는 동전 던지기가 없다.

매칭은 이 곤란을 푸는 오래된 처방이다. 약을 먹은 사람 한 명마다, 먹지 않은 사람 중에서 나이, 성별, 소득, 평소 건강 상태처럼 관찰 가능한 특성이 비슷한 사람을 골라 짝지어 비교한다. 비슷한 사람끼리 비교하면 출발선의 차이가 줄어들고, 남는 차이를 약효로 읽을 수 있다는 발상이다.

이 발상을 통계 이론으로 세운 사람이 도널드 루빈(Donald Rubin)이다. 1973년 논문 “Matching to Remove Bias in Observational Studies”와 1974년의 잠재적 결과(potential outcomes) 틀이 출발선이고, 그 앞에는 윌리엄 코크런(William Cochran)이 1950~60년대에 다듬어 둔 관찰연구의 매칭과 층화 작업이 있다. 그리고 1983년, 폴 로젠바움(Paul Rosenbaum)과 루빈이 함께 쓴 성향점수(propensity score) 논문이 결정적이었다. 나이, 성별, 소득, 건강 상태 같은 특성을 하나하나 맞추는 대신, 처치를 받을 확률 하나로 요약해서 그 확률이 같은 사람끼리 짝지어도 편향이 제거된다는 사실을 증명한 것이다.

이 방법들이 똑같이 깔고 있는 가정이 하나 있다. 무작위성을 가정해도 좋다는 의미의 무시가능성(ignorability)이다. 관찰된 특성을 통제하고 나면, 처치를 받았는지 여부가 결과와 무관해진다는 가정이다. 기호로 쓰면 처치 여부와 잠재적 결과가 특성 X를 조건으로 독립이라는 뜻이다. 이 가정이 성립하는 한, 무작위 실험이 아니어도 매칭만으로 인과효과를 추정할 수 있다. 반대로 이 가정이 깨지면 아무리 정교하게 매칭해도 편향이 남는다. 뒤에서 보겠지만 샘플매칭의 운명도 바로 이 가정에 걸려 있다.

정치학자가 만든 표집 방법

이 인과추론 도구를 여론조사로 옮긴 사람이 더글러스 리버스(Douglas Rivers)다. 그의 이력에는 작은 반전이 있다. 통계 방법론을 자유자재로 다루는 사람이라 당연히 통계학 박사일 것 같지만, 그는 정치학자다. 컬럼비아대에서 학사를, 하버드대에서 1981년에 정치학 박사를 받았고, 칼텍과 UCLA를 거쳐 1989년부터 스탠퍼드대 정치학과 교수로 있다.

정치학자가 어떻게 표집 방법을 만들었을까 싶지만, 그가 발 담근 분야를 보면 이상한 일이 아니다. 리버스의 연구 영역은 정치학 안에서도 가장 계량적인 정치방법론(political methodology)이었다. 이산선택모형, 공간투표이론, 선거 데이터의 추정 문제처럼 사실상 계량경제학이나 통계학과 경계가 없는 주제들이다. 1980년대 정치방법론은 계량경제학에서 도구를 대거 빌려 오던 시기였고, 리버스는 그 한가운데에 있었다. 인과추론과 추정 이론에 깊이 들어가 있던 계량정치학자였기에, 루빈과 로젠바움의 매칭 도구를 자기 것처럼 쓸 수 있었다.

그는 학계에만 머물지 않았다. 1990년대 후반 실리콘밸리에서 회사를 두 개 세웠고, 이후 폴리메트릭스(Polimetrix)라는 여론조사 회사를 창업했다. 이 회사가 샘플매칭을 개발했으며, 2007년 유고브가 약 1,700만 달러에 인수했다. 리버스는 지금 유고브의 수석과학자(Chief Scientist)로 이 회사의 방법론 전반을 책임지고 있다. 방법의 원전은 그가 2007년 미국통계학회 연례회의(Joint Statistical Meetings)에서 발표한 논문 “Sampling for Web Surveys”다.

리버스가 알아챈 것은 이것이다. 옵트인 패널이 안고 있는 문제가 관찰연구의 문제와 구조가 똑같다는 사실이다. 관찰연구에서는 누가 처치집단에 들어갈지가 무작위로 정해지지 않아 모집단과 어긋난다. 옵트인 패널에서는 누가 패널에 가입할지가 무작위가 아니라 자기선택으로 정해져 모집단과 어긋난다. 두 문제는 화근이 같다. 무작위가 아닌 선택이다. 그래서 처방도 같다. 관찰된 특성으로 짝을 맞추고, 그 짝짓기를 무시가능성이라는 동일한 가정으로 떠받친다. 리버스는 패널 가입 자체를 일종의 처치로 본 셈이다. 누군가 온라인 패널에 자원해 들어왔다는 사실은, 관찰연구에서 누군가 약을 먹기로 했다는 사실과 통계적으로 같은 자리에 놓인다.

실제로 어떻게 매칭하는가

절차 자체는 의외로 깔끔하다. 네 단계로 정리된다.

1. 먼저 좋은 표집틀을 잡는다. 미국이라면 인구조사 자료(ACS)나 유권자 등록 파일처럼 모집단을 잘 대표하는 고품질 프레임이다.

2. 그 틀에서 확률표본을 뽑는다. 이것이 타깃 표본이다. 원래대로라면 면접하고 싶은 이상적인 응답자 명단이지만, 정작 이 사람들은 패널에 없어 면접할 수 없다.

3. 타깃 표본의 각 사람마다 패널 안에서 특성이 가장 가까운 패널원을 찾는다. 최근접 이웃 매칭이다.

4. 이렇게 매칭된 패널원들이 실제 응답자가 된다.

여기서 관건은 타깃 표본의 정체다. 타깃은 실제로 면접한 사람이 아니라, 모집단에서 무작위로 뽑은 가상의 명단이다. 일종의 합성된 확률표본인 셈이다. 인과추론의 매칭이 처치집단을 비교집단에 맞춘다면, 유고브는 거꾸로 손에 들고 있는 패널을 이 무작위 가상 명단에 맞춘다. 리버스와 베일리(Rivers & Bailey, 2009)는 여기서 한 걸음 더 나아가, 합성된 대표 표집틀을 만들고 거기서 타깃을 뽑는 방식을 정식화했다.

매칭 변수가 충분히 풍부해서 X를 조건으로 걸면 패널 가입 여부가 응답값과 무관해진다면, 다시 말해 무시가능성이 성립한다면, 이렇게 만든 표본은 확률표본처럼 작동한다. 리버스의 시뮬레이션이 보여 준 것이 그것이다. 매칭된 표본의 추정량은 패널에서 무작위로 일부를 뽑아 가중하는 방식보다 우수했고, 표본 분포는 모집단에서 단순무작위표집을 한 경우와 비슷했다. 2006년 미국 의회 선거에 적용했을 때는, 옵트인 웹 패널에서 샘플매칭으로 얻은 추정치가 RDD 전화면접 추정치보다 더 정확했다.

자주 헷갈리는 부분을 하나 정리하고 넘어가자. 유고브의 원래 샘플매칭은 성향점수 매칭과 같지 않다. 성향점수 매칭은 여러 특성을 점수 하나로 압축한 다음 그 점수가 비슷한 처치 대상과 비교 대상을 짝짓는다. 반면 유고브는 점수로 압축하지 않고 특성 거리로 직접 짝을 찾으며, 처치와 비교가 아니라 패널과 타깃을 짝짓는다. 다만 비확률표본을 다루는 또 다른 갈래인 유사가중(pseudo-weighting) 방식은 성향점수 모형을 그대로 가져다 쓴다. 비확률표본과 참조 확률표본을 합쳐 표본에 포함될 확률을 추정하고 그 역수로 가중하는 식이다. 그래서 비확률표집 추론이라는 큰 집안은 모두 로젠바움과 루빈의 후손이라 할 만한데, 유고브는 매칭이라는 갈래를, 발리언트나 엘리엇 같은 연구자들은 성향가중이라는 갈래를 택한 차이로 보면 된다.

작동을 좌우하는 두 조건

이론이 이렇게 깔끔해도, 실제로 작동하려면 패널이 두 가지를 갖춰야 한다. 매칭 변수가 풍부해야 하고, 그 정보가 현행화되어 있어야 한다. 둘은 비슷해 보이지만 서로 다른 종류의 요구이고, 각각 다른 종류의 실패를 막아 준다.

먼저 변수가 풍부해야 하는 까닭은 앞서 본 무시가능성 가정이 통째로 여기에 걸려 있기 때문이다. 패널 가입이 응답과 무관해지려면, 조건으로 거는 변수 X가 패널 가입과 응답값을 동시에 좌우하는 요인을 빠짐없이 담아야 한다. 변수가 빈약하면 조건을 걸어도 자기선택이 남는다. 인구통계 몇 개로만 매칭하면, 같은 40대 남성 안에서도 정치 고관여층만 패널에 들어와 있는 편향을 잡지 못한다. 유고브가 매칭에 쓰는 변수가 단순 인구통계를 훌쩍 넘어서는 까닭이다. 정당일체감, 과거 투표 행태, 이념 성향, 관심사, 미디어 소비 습관, 거기에 유권자 파일에서 끌어온 행정 변수까지 패널 프로필에 쌓아 둔다. 매칭 변수가 풍부할수록 무시가능성 가정도 그만큼 믿을 만해진다.

여기에는 긴장이 하나 숨어 있다. 변수를 늘릴수록 가정은 그럴듯해지지만, 동시에 차원의 저주 탓에 좋은 짝을 찾기가 어려워진다. 패널이 아무리 커도 변수가 수십 개로 늘어난 고차원 공간에서는 모든 타깃마다 가까운 이웃을 대 줄 수 없다. 그래서 실무는 가정을 강하게 만들 만큼 충분한 변수와 매칭이 실제로 가능한 차원 사이에서 타협한다. 거리함수를 어떻게 설계할지, 어떤 변수에 가중을 둘지, 근사 매칭을 어디까지 받아들일지가 모두 이 타협의 산물이다. 변수는 많아야 하지만 무한정 많을 수도 없다.

현행화가 필요한 까닭은 종류가 다르다. 매칭이 타당한가의 문제가 아니라, 매칭 변수를 언제 측정했는가의 문제다. 패널 프로필이 2년 전 값이라면, 매칭은 2년 전의 그 사람에게 맞춰진다. 정치 변수는 특히 시간에 민감하다. 2년 전 무당층이 지금은 특정 정당 지지자가 되어 있을 수 있고, 그사이 거주지나 직업이나 관심사가 바뀌었을 수 있다. 타깃 표본은 오늘의 모집단을 대표하는데 매칭 키가 과거 값이면, 오늘 기준으로는 엉뚱한 사람을 가까운 이웃으로 착각해 뽑게 된다. 측정 오차가 아니라 시점이 어긋나서 생기는 편향이다.

특히 고약한 것은 역설이다. 자주 변하는 변수일수록 매칭에서 가장 중요한 변수이기도 하다. 성별이나 출생연도는 변하지 않지만 매칭 정보로서의 가치는 낮다. 정당 지지, 후보 선호, 시사 관심, 정책 태도는 자주 변하면서 동시에 결과변수와 가장 강하게 연결된 변수다. 그러니 현행화 부담이 가장 큰 변수가 하필 매칭에 가장 절실한 변수에 몰린다. 유고브가 패널을 주기적으로 재접촉해 프로필을 갱신하고, 잘 변하지 않는 프레임 변수와 자주 갱신해야 하는 태도 변수를 따로 관리하는 것이 이 구조 때문이다.

두 조건을 한 문장으로 합치면 이렇게 된다. 풍부함은 올바른 차원에서 짝짓고 있는가를 보장하고, 현행성은 올바른 시점의 값으로 짝짓고 있는가를 보장한다. 둘 중 하나만 채워서는 다른 쪽 구멍으로 편향이 새어 든다. 변수가 풍부해도 낡았으면 과거에 대한 정밀한 매칭일 뿐이고, 최신이어도 빈약하면 현재에 대한 거친 매칭일 뿐이다.

매칭으로 잡히지 않는 것

샘플매칭의 한계는 대부분 무시가능성 가정으로 되돌아온다. 이 가정은 검증할 수가 없다. 패널 가입과 응답을 동시에 좌우하는 요인을 빠짐없이 담았는지를 데이터만 보고 확인할 방법이 없기 때문이다. 인구통계로 아무리 잘 매칭해도, 태도나 행동 차원의 자기선택까지 잡아 준다는 보장은 없다. 온라인 패널에 자원하는 사람은 인구통계로는 드러나지 않는 방식으로 일반 국민과 다를 수 있다. 정치에 관심이 유난히 많거나, 의견을 드러내고 싶은 욕구가 강하거나, 설문 보상에 민감하거나, 단지 남는 시간이 많은 사람일 수도 있다. 이것이 모든 비확률 방법을 향한 근본적인 비판이고, 샘플매칭도 예외가 아니다.

그래서 유고브도 매칭만으로 끝내지 않는다. 매칭으로 응답자를 고른 뒤, 사후층화 가중을 한 번 더 걸어 남은 불균형을 보정한다. 매칭이 일차 방어선이라면 가중이 이차 방어선인 셈이다. 그리고 이 방법이 늘 이기는 것도 아니다. 2006년 의회 선거에서는 전화조사를 앞섰지만, 이후 여러 선거에서 온라인 패널 기반 추정이 빗나간 사례도 적지 않다. 어떤 방법도 무시가능성이 깨지는 상황을 완전히 면제받지는 못한다.

한국에서는 무엇이 달라지는가

여기까지 오면 한국 적용의 문제가 보인다. 유고브 모델은 두 개의 인프라를 깔고 서 있다. 대규모 상시 패널과, 개인 단위 행정 정보를 담은 유권자 파일이다. 미국은 후자를 가지고 있다. 유권자 등록 파일에 인구통계와 과거 투표 참여 기록 같은 변수가 붙어 있어서, 패널원과 모집단 양쪽에 풍부한 매칭 키를 공급한다. 유고브 샘플매칭의 변수 풍부함은 상당 부분 이 외부 파일에서 나온다.

한국에는 이런 공개 프레임이 사실상 없다. 개인 단위 행정 변수를 외부에서 끌어다 매칭 키를 불릴 길이 막혀 있다는 뜻이다. 그러면 풍부함이라는 조건을 패널 내부에 프로필을 쌓아 올리는 방식만으로 채워야 한다. 가입 시점과 이후 조사에서 응답자에게 직접 물어 모은 정보가 거의 전부가 된다. 외부에서 사 오는 대신 내부에서 길러야 하는 구조다.

문제는 이 구조가 두 조건을 동시에 압박한다는 데 있다. 매칭 키를 내부 축적에만 의존하면, 변수의 풍부함도 패널 운영에 달리고 현행화 부담도 패널 운영에 달린다. 게다가 한국에서 가장 중요한 매칭 변수인 정치 변수는 가장 자주 변하는 변수이기도 해서, 갱신을 게을리하면 곧바로 시점 불일치 편향으로 이어진다. 미국에서는 외부 파일이 일부 떠받쳐 주던 짐을, 한국에서는 패널 운영 한 곳이 거의 다 떠안아야 한다.

여기에 통신사 마케팅 수신 동의 고객에게 SMS를 보내 모바일 웹조사로 응답을 받는 구조라면, 매칭 변수의 출처와 갱신 설계가 한층 더 중요해진다. 표집틀의 성격이 미국식 유권자 파일과 다른 만큼, 샘플매칭의 논리를 그대로 옮기기보다 어떤 변수를 어떻게 확보하고 언제 갱신할지를 한국 데이터 환경에 맞춰 다시 설계해야 한다. 방법을 수입하기는 쉽지만, 방법이 기대고 선 인프라까지 수입하기는 쉽지 않다.

샘플매칭의 이야기에서 오래 남는 것은 방법 자체보다 그 출신이다. 약효를 재려고 만든 도구가 여론조사 표집으로 건너온 것은, 두 문제가 같은 모양을 하고 있다는 사실을 알아본 한 사람의 눈 덕분이었다. 그리고 그 눈은 표집을 전공한 사람이 아니라 인과추론에 익숙했던 정치학자의 것이었다. 방법론에서 도약은 종종 분야와 분야 사이의 빈틈에서 나온다. 한국 조사 환경에 맞는 다음 도약도, 어쩌면 표집론 바깥에서 건너올지 모른다.

참고 문헌

Cochran, W. G., & Rubin, D. B. (1973). Controlling Bias in Observational Studies: A Review. Sankhyā: The Indian Journal of Statistics, Series A, 35(4), 417–446.

Rivers, D. (2007). Sampling for Web Surveys. Proceedings of the Joint Statistical Meetings, Section on Survey Research Methods. American Statistical Association.

Rivers, D., & Bailey, D. (2009). Inference from Matched Samples in the 2008 U.S. National Elections. Proceedings of the Joint Statistical Meetings, Section on Survey Research Methods.

Rosenbaum, P. R., & Rubin, D. B. (1983). The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biometrika, 70(1), 41–55.

Rubin, D. B. (1973). Matching to Remove Bias in Observational Studies. Biometrics, 29(1), 159–183.

Rubin, D. B. (1974). Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology, 66(5), 688–701.

 

통신 3사 웹조사라고 다 믿을 일은 아니다

가장 이상적인 방식일수록, 라벨만 흉내 내기 쉽다.

“통신 3사 가입자를 표집틀로 쓴 웹조사”라는 설명을 들으면 마음이 놓인다. 특정 회사 회원도, 일부 가입자도 아니고 이동통신 가입자 전체를 덮는 틀처럼 들리기 때문이다. 의뢰자에게 이 한 줄은 강한 신뢰 신호다. 그런데 라벨과 실제 사이에는 생각보다 넓은 틈이 있을 수 있다.

먼저 인정할 건 인정하자. 통신 3사를 아우르는 타겟 문자 웹조사는 방법론적으로 가장 바람직한 축에 든다. 조사자가 명단에서 대상을 골라 보내는 통제된 추출이면서, 세 통신사를 합치면 틀이 거의 전체 가입자에 닿는다. 누구를 부를지 통제하는 일과 틀을 넓게 잡는 일을 동시에 해내는, 모바일 조사가 지향할 만한 형태다. 그러니 이 라벨이 믿음직하게 들리는 데에는 이유가 있다.

문제는 이 이상을 세 통신사 모두에 대해 진짜로 구현하기가 현실적으로 매우 어렵다는 점이다. 통신사마다 조사용 문자 발송을 받아주는 조건이 다르고, 직접 계약이 열리는 곳과 대행사를 거쳐야만 하는 곳이 갈리며, 한 번에 보내야 하는 최소 물량 같은 제약도 붙는다. 1,000명 규모의 조사에서 세 통신사에 표본을 고르게 배분해 발송하는 일은, 비용으로 보나 구조로 보나 좀처럼 맞아떨어지지 않는다. 그래서 실제로는 한 통신사 쪽으로 쏠리기 쉽다.

여기서 의심의 단서가 나온다. 가장 어려운 방식을 쉽고 깔끔하게 한다고 내세우면, 한 번 멈춰야 한다. 어려운 걸 쉽게 한다는 말은, 실제로는 다른 걸 하고 있을 가능성을 품기 때문이다.

라벨은 그대로인데 표본은 전혀 다른 경우가 흔하다. 하나는 사실상 한 통신사 가입자만 썼으면서 ‘3사’라는 틀의 이름만 빌리는 경우다. 커버리지가 한쪽으로 쏠려 있지만 겉으로는 드러나지 않는다. 다른 하나는 문자로 골라 보내는 게 아니라 앱 안에 설문을 띄워 자원자를 받은 경우다. 이용자가 포인트를 보고 스스로 들어온 자기선택 표본인데, ‘웹조사’라는 말로 뭉뚱그려진다. 앞은 통제된 추출이지만 틀이 좁고, 뒤는 틀을 따질 것도 없이 표본을 응답자 본인이 정한다. 같은 라벨 아래 성격이 정반대인 표본이 들어앉는 셈이다.

라벨 하나, 그 아래 갈라지는 표본들.

그래서 라벨이 아니라 표본이 어떻게 만들어졌는지를 물어야 한다. 세 통신사를 정말 다 썼는지, 각각 몇 명인지, 문자로 골라 보냈는지 아니면 앱에서 자원받았는지, 발송 대비 응답률은 얼마인지. 진짜로 3사 타겟 문자 웹조사를 했다면 이 질문들에 숫자로 답할 수 있다. 답이 두루뭉술하거나 ‘통신 3사 표집틀’이라는 말만 반복된다면, 그 조사는 라벨이 약속한 것과 다른 물건일 수 있다.

가장 이상적인 방식일수록 흉내 내기 좋은 라벨이 된다. 통신 3사 웹조사라는 말이 주는 안심은 거저 주어지지 않는다. 그 안심이 정당한지는, 라벨 아래에서 표본이 어떻게 모였는지를 확인한 다음에야 말할 수 있다.

유권자 양극화가 깊어질수록, 가중은 성·연령·지역을 넘어야 한다

 

유권자 양극화가 깊어질수록, 가중은 성·연령·지역을 넘어야 한다

 

앞선 두 글에서, 유권자가 둘로 갈라지고 한쪽이 입을 닫으면 여론조사가 어떻게 빗나가는지, 그리고 6·3 지방선거의 전화조사가 왜 그 함정에 더 깊이 빠졌는지를 봤다. 한 줄로 줄이면 이렇다. 양극화가 깊어질수록 정확한 조사는 더 어려워진다.

문제는 우리가 그 오차를 바로잡으려고 기대는 도구다. 거의 모든 조사는 성·연령·지역 비율을 실제 인구에 맞추는 가중으로 표본을 보정한다. 그런데 양극화가 만드는 편향은 바로 이 인구 구성 바깥에서 생긴다. 그래서 성·연령·지역을 아무리 정교하게 맞춰도 정치적으로 기운 표본은 그대로 남는다. 가중 전략이 한 칸 올라서야 하는 이유가 여기에 있다.

가중이 하는 일과 못 하는 일

가중은 단순한 작업이다. 표본의 어떤 비율이 실제 인구와 다르면, 모자란 쪽 응답에 무게를 더 실어 비율을 맞춘다. 이게 제대로 작동하려면 두 가지가 필요하다. 하나, 맞춰야 할 ‘진짜 분포’를 알아야 한다. 둘, 그 변수를 응답자에게서 측정할 수 있어야 한다.

성·연령·지역은 두 조건을 모두 만족한다. 통계청 인구 자료라는 믿을 만한 기준이 있고, 응답자에게 물어보면 바로 나온다. 그래서 오래도록 가중의 기본이 됐다.

양극화는 인구 구성 바깥에서 샌다

그런데 양극화 국면의 무응답은 성·연령·지역으로 설명되지 않는 곳에서 발생한다. 같은 60대 영남 남성 안에서도, 어느 쪽을 지지하느냐에 따라 누구는 응답하고 누구는 전화를 끊는다. 빠져나간 사람과 남은 사람의 차이가 정치 성향에 걸려 있는데, 이 성향은 성·연령·지역과 나란히 가지 않는다.

게다가 인구 구성과 투표 선택의 연결이 예전보다 느슨해졌다. “이 세대, 이 지역이면 이 당”이라는 공식이 약해지면서, 인구 정보로 정치 성향을 대신 짐작하기가 더 어려워졌다. 두 가지가 겹치면 결과는 정해져 있다. 인구 구성을 완벽히 맞춘 표본도 정치적으로는 한쪽으로 쏠린 채 남는다. 앞 글의 그림에서 본 그대로다.

그래서 ‘정치적으로 정보가 있는’ 변수가 필요하다

해법의 방향은 어렵지 않다. 인구 정보만으로 잡히지 않는 편향이라면, 정치 성향과 직접 맞물린 변수를 가중에 넣어야 한다.

첫걸음은 보통 학력이다. 2016년 미국 대선에서 여러 조사가 빗나간 큰 이유 하나가 학력 가중을 빠뜨린 것이었다. 학력은 응답 성향과도, 투표 선택과도 강하게 엮여 있어서, 성·연령·지역만 맞추면 고학력 응답자가 과대 대표되기 쉽다. 학력을 가중에 더하는 것은 비교적 논란이 적은 한 칸이다.

그다음은 과거 투표나 이념 성향처럼 정치 신호를 더 직접 담은 변수다. 예를 들어 직전 선거에서 어디에 투표했는지를 물어, 그 분포를 실제 개표 결과에 맞추는 식이다. 이건 인구 정보가 놓치는 정치적 쏠림을 정면으로 겨냥한다.

그림 | 양극화가 깊어질수록 위 칸에서 아래 칸으로. 정확도를 얻는 대신 가정·분산·규제 부담이 커진다.

공짜가 아니다

다만 인구 구성을 넘어서는 순간, 가중은 더 까다로워진다.

먼저 기준 분포의 문제다. 성·연령·지역에는 통계청이라는 기준이 있지만, 정당 지지에는 그런 인구센서스가 없다. 과거 투표는 실제 개표라는 기준이 있어 그나마 낫지만, 사람들은 자기가 누구를 찍었는지 잘못 기억하거나 이긴 쪽에 투표했다고 답하는 경향이 있다. 잘못된 기준에 맞춰 무게를 실으면 편향을 줄이는 게 아니라 새 편향을 만든다.

다음은 분산이다. 가중 변수를 늘릴수록 소수 칸에 큰 무게가 실리고, 효과적인 표본 크기는 줄어든다. 추정치가 더 출렁이게 된다.

그리고 규제가 있다. 공표·보도되는 선거 여론조사는 가중에 쓰는 변수와 배율에 제약이 따른다. 하고 싶다고 아무 변수나 아무 배율로 가중할 수 있는 게 아니다.

그래서 모형 쪽으로 간다

변수를 하나씩 더하는 방식에는 한계가 있다. 칸을 잘게 쪼갤수록 칸마다 응답자가 부족해지기 때문이다. 그래서 최근의 흐름은 모형을 쓰는 쪽이다.

대표적인 게 다층회귀 사후층화(MRP)다. 투표 선택을 성·연령·지역·학력·과거투표 같은 여러 변수의 함수로 모형화한 뒤, 알려진 모집단 구성에 맞춰 다시 합산한다. 칸마다 응답자가 적어도 모형이 이웃 칸의 정보를 빌려 메운다. 응답 성향 자체를 모형으로 추정해 그 역수로 가중하는 방법도 같은 갈래다.

이 길은 가정이 늘고 계산이 무거워진다. 그래도 성·연령·지역이라는 좁은 틀에 갇히지 않는다는 점에서, 양극화가 깊은 환경에서는 점점 불가피한 선택이 되고 있다.

가중은 마지막 손질이지 출발점이 아니다

한 가지는 분명히 해 두자. 아무리 정교한 가중도 사후 처방이다. 한쪽이 통째로 빠진 자료를 뒤에서 완벽히 되살릴 수는 없다. 가중으로 메우는 양이 많아질수록, 그 결과는 자료가 아니라 가정에 더 기대게 된다.

그러니 가중 전략을 끌어올리는 일과 애초에 덜 빠지게 모으는 일은 함께 가야 한다. 어떤 통로로 접촉하는지, 어떤 사람이 끝까지 응답하는지를 바꾸면, 가중이 떠안아야 할 짐 자체가 줄어든다. 좋은 가중은 좋은 수집 위에서만 제 힘을 낸다.

정리

양극화가 깊어질수록 성·연령·지역만으로는 표본의 대표성을 지킬 수 없다. 가중은 인구 구성을 맞추는 데서 정치적 신호를 담는 쪽으로, 단순한 비율 맞추기에서 모형 기반으로 옮겨가야 한다. 다만 어떤 가중도 믿을 만한 기준과 충분히 좋은 자료가 받쳐줄 때만 작동한다. 더 똑똑한 보정과 더 나은 수집, 둘 중 하나만으로는 양극화가 만든 편향을 이길 수 없다.

유권자 양극화 시대의 전화조사, 6·3 지방선거가 드러낸 것

 

유권자 양극화 시대의 전화조사, 6·3 지방선거가 드러낸 것

 

6·3 지방선거가 끝나고 익숙한 말이 다시 나왔다. “여론조사가 또 빗나갔다.” 서울시장처럼 끝까지 박빙으로 본 곳에서 예측이 어긋났고, 경남 같은 곳에서는 같은 시기 조사인데도 방식에 따라 두 자릿수 포인트씩 결과가 갈렸다. 막대한 비용을 들인 조사들이 왜 이렇게 흔들렸을까.

표본을 더 키우면 되지 않느냐는 처방이 흔히 나온다. 그런데 유권자가 둘로 갈라지고 한쪽이 입을 닫는 상황에서는 표본을 늘려도 잘 맞지 않는다. 틀린 답이 오히려 더 단단해지기도 한다. 조사가 흔들리는 원인이 “몇 명한테 못 물었나”가 아니라 “누가 대답을 피했나”에 있기 때문이다.

이 글은 먼저 그 원리를 간단한 그림으로 보이고, 그것이 6·3 지방선거의 전화조사 환경에서 왜 더 크게 작동했는지, 그리고 왜 단순한 처방으로는 풀기 어려운지를 정리한다.

같은 무응답, 다른 결과

간단한 상황을 가정해 보자. 어떤 도시의 유권자가 A 지지 50%, B 지지 50%로 정확히 반반이다. 조사 회사가 전화를 돌린다.

양쪽이 비슷하게 응답하는 평범한 상황이라면 받은 답도 대체로 반반이 된다. 조사 결과 50:50, 실제도 50:50. 잘 맞는다.

이제 분위기가 험악해졌다고 하자. B를 지지하는 사람들이 “내 생각을 굳이 말하고 싶지 않다”며 전화를 끊거나 모름이라고 답한다. A 지지자는 여전히 잘 응답한다. 전화를 건 사람 수는 똑같다. 그런데 실제로 답한 사람만 모아 보면 A가 부풀려진다. 받은 답이 A 62%, B 38%처럼 한쪽으로 쏠린다. 실제는 여전히 반반인데 조사는 A가 앞선다고 말한다. 사라진 12%포인트는 응답을 피한 쪽이 통계에서 빠지면서 생긴 착시다.

그림 1 | 실제 지지율이 50:50으로 같아도, B진영이 응답을 피하면 조사 결과가 12%포인트 어긋난다.

표본을 키워도 안 되는 이유

표본을 2배로 늘리면 어떻게 될까. 응답을 피하는 성향이 그대로라면 더 많은 A 지지자와 더 적은 B 지지자를 똑같은 비율로 더 모을 뿐이다. 같은 방향으로 틀린 숫자가 더 정밀해진다. 틀린 과녁을 더 촘촘히 맞히는 셈이다. 표본 크기는 우연한 흔들림은 줄여 주지만, 한쪽이 빠져서 생긴 치우침은 줄이지 못한다.

6·3 지방선거는 전화조사에 불리한 환경이었다

이번 선거는 이 함정이 유난히 깊어지는 조건을 두루 갖추고 있었다.

첫째, 상대를 선이 아니라 악으로 규정하는 분위기가 강했다. 이런 구도에서는 한쪽 지지자가 자기 선택을 낯선 사람에게 밝히기를 꺼린다. 6·3 선거 분석에서도 보수 성향 유권자의 표심이 조사에 충분히 담기지 않았다는 진단이 여러 곳에서 나왔다. 이른바 ‘샤이 보수’다. 투표는 하되 조사에는 응하지 않거나 속내를 감추는 사람들이다.

둘째, 투표율이 낮아서가 아니라 높아서 생긴 문제도 있었다. 이번 지방선거 투표율은 61%로 역대 두 번째로 높았다. 양쪽 지지층이 강하게 결집했고, 한 정당에 일괄로 표를 몰아주던 줄투표가 줄면서 광역과 기초에서 서로 다른 당을 찍는 교차 투표가 늘었다. 결집과 교차가 함께 일어나면 조사로 잡아내야 할 그림이 그만큼 복잡해진다.

셋째, 그리고 이게 제일 중요한데, 전화조사는 응답률 자체가 매우 낮다. 최근 공개된 한 사례를 보면 같은 업체가 같은 기간에 돌린 조사인데도 전화면접 응답률은 10% 안팎, ARS는 2% 안팎이었다. 100명에게 전화를 걸어 두세 명이 끝까지 답하는 구조다. 앞의 식으로 돌아가 보면, 편향은 무응답이 지지와 얼마나 엮였는가를 평균 응답확률로 나눈 값이다. 분모인 응답률이 이렇게 낮으면, 같은 정도의 치우침도 훨씬 큰 편향으로 부풀려진다.

그림 2 | 같은 무응답 쏠림이라도 응답률이 낮을수록 편향이 커진다. 전화면접(약 10%)과 ARS(약 2%)는 그 분모가 특히 작다.

그러니 응답률이 낮은 전화조사일수록, 어느 한쪽이 조금만 덜 응답해도 결과가 크게 흔들린다. 6·3에서 막대한 비용을 들인 조사들이 서울·경남·전북 같은 승부처에서 빗나간 데에는 이 구조가 깔려 있다.

전화면접과 ARS, 둘 다 다른 방향으로 샌다

“그러면 응답률이 조금 더 높은 전화면접을 믿으면 되지 않나” 싶을 수 있다. 그런데 두 방식은 각자 다른 쪽으로 샌다.

전화면접은 면접원과 직접 통화한다. 상대를 악으로 모는 분위기에서는 응답자가 면접원 앞에서 속내를 잘 털어놓지 않는다. 대신 중도층이나 지지 정당이 없는 사람들이 상대적으로 끝까지 응답하는 경향이 있어, 결과가 여당 쪽으로 기우는 일이 잦다.

ARS는 기계음이 묻고 버튼으로 답한다. 익명성이 높아 속내를 덜 숨기지만, 끝까지 버튼을 누르는 사람은 정치에 관심이 아주 많은 사람들로 좁혀진다. 그래서 고관여층, 특히 결집한 보수층이 과하게 잡히기도 한다.

실제로 경남에서는 같은 시기 전화면접 조사가 한 후보의 두 자릿수 우세를 보인 반면, ARS 조사는 오차범위 안 접전으로 나왔다. 같은 유권자를 같은 주에 조사했는데 방식만 바꿨더니 그림이 달라진 것이다. 이럴 때 숫자만 봐서는 어느 쪽이 실제에 가까운지 가릴 수 없다. 두 방식 모두 자기 방향으로 치우쳐 있기 때문이다.

가중을 줘도 다 못 잡는다

“그러면 가중치로 보정하면 되지 않나” 싶을 것이다. 조사 회사는 성별·연령·지역 비율을 실제 인구에 맞춰 표본을 보정한다. 응답자 중 20대가 적게 나오면 20대 한 명의 답에 무게를 더 싣는 식이다.

문제는 이 보정이 인구 구성만 맞춘다는 데 있다. 같은 60대 안에서도 어느 진영 지지자가 더 많이 답했는지는 성·연령·지역 가중으로 되돌릴 수 없다. 양극화가 심해지면 “60대니까 이쪽을 찍겠지” 같은 짐작이 깨진다. 그래서 인구 구성이 완벽하게 맞춰진 표본도 정치적으로는 한쪽으로 기운 채 남는다.

정당 지지나 과거 투표를 기준으로 가중을 더 주면 되지 않느냐는 의견도 있다. 방향은 맞지만 함정이 있다. 그 기준이 되는 ‘진짜 분포’를 우리는 모른다. 더구나 큰 선거를 한 번 치르고 나면 지지의 바탕 자체가 출렁인다. 잘못된 기준에 맞춰 무게를 실으면 편향을 줄이는 게 아니라 다른 편향을 새로 만든다. 선거 여론조사는 정해진 기준을 벗어난 보정에 제약도 많다.

단순한 처방이 안 통하는 이유

정리하면 이렇다.

–    표본을 키운다: 우연한 흔들림만 줄 뿐, 한쪽이 빠져 생긴 치우침은 그대로 남는다.

–    성·연령·지역 가중: 인구 구성은 맞추지만 성향 쏠림은 못 잡는다.

–    정당 지지·과거 투표 가중: 기준 분포가 불확실해 과보정 위험이 있다.

–    전화면접과 ARS를 섞는다: 두 방식이 공유하는 ‘전화를 받고 끝까지 답하는 사람만 잡힌다’는 자기선택은 사라지지 않는다.

–    투표할 사람만 추린다(투표 의향 보정): 지방선거는 투표율 예측 자체가 불확실해 또 다른 가정을 얹는 일이 된다.

어느 것도 단독으로는 무응답이 성향과 엮여 생긴 편향을 깨끗이 지우지 못한다.

무응답이 만드는 편향은 대략 이렇게 쓸 수 있다.

편향 ≈ Cov(응답확률, 지지후보) ÷ 평균 응답확률

응답확률과 지지가 따로 놀면(공분산이 0이면) 무응답이 아무리 많아도 편향은 작다. 양극화는 이 둘을 엮어 분자를 키우고, 낮은 응답률은 분모를 줄인다. 전화조사가 양극화 국면에서 특히 약한 이유가 이 한 줄에 들어 있다.

그러면 무엇을 봐야 하나

양극화가 심한 때의 여론조사는 숫자 하나로 읽으면 안 된다. 먼저 누가 빠졌을지를 의심하는 게 순서다. 응답률과 접촉률이 얼마였는지, 어떤 방식으로 조사했는지, 모름·무응답이 얼마나 쌓였는지를 함께 봐야 한다. 한 조사의 한 숫자보다, 같은 시기 여러 조사가 그리는 분포와 그 분포가 한쪽으로 쏠려 있지 않은지를 보는 편이 안전하다.

방식을 고를 때도 마찬가지다. 전화를 받고 끝까지 답하는 사람만 모이는 구조 안에서는, 어떤 보정을 얹어도 빠져나간 사람을 완전히 되살리기 어렵다. 전화라는 통로 밖에서 응답자를 모으는 방식까지 함께 견줘 봐야 그림이 덜 일그러진다. 표본이 크다고 안심할 일이 아니다. 한쪽이 조용히 빠져나가지 않았는지부터 묻는 것, 양극화 시대의 조사를 읽는 일은 거기서 시작한다.