유권자 양극화가 깊어질수록, 가중은 성·연령·지역을 넘어야 한다

 

유권자 양극화가 깊어질수록, 가중은 성·연령·지역을 넘어야 한다

 

앞선 두 글에서, 유권자가 둘로 갈라지고 한쪽이 입을 닫으면 여론조사가 어떻게 빗나가는지, 그리고 6·3 지방선거의 전화조사가 왜 그 함정에 더 깊이 빠졌는지를 봤다. 한 줄로 줄이면 이렇다. 양극화가 깊어질수록 정확한 조사는 더 어려워진다.

문제는 우리가 그 오차를 바로잡으려고 기대는 도구다. 거의 모든 조사는 성·연령·지역 비율을 실제 인구에 맞추는 가중으로 표본을 보정한다. 그런데 양극화가 만드는 편향은 바로 이 인구 구성 바깥에서 생긴다. 그래서 성·연령·지역을 아무리 정교하게 맞춰도 정치적으로 기운 표본은 그대로 남는다. 가중 전략이 한 칸 올라서야 하는 이유가 여기에 있다.

가중이 하는 일과 못 하는 일

가중은 단순한 작업이다. 표본의 어떤 비율이 실제 인구와 다르면, 모자란 쪽 응답에 무게를 더 실어 비율을 맞춘다. 이게 제대로 작동하려면 두 가지가 필요하다. 하나, 맞춰야 할 ‘진짜 분포’를 알아야 한다. 둘, 그 변수를 응답자에게서 측정할 수 있어야 한다.

성·연령·지역은 두 조건을 모두 만족한다. 통계청 인구 자료라는 믿을 만한 기준이 있고, 응답자에게 물어보면 바로 나온다. 그래서 오래도록 가중의 기본이 됐다.

양극화는 인구 구성 바깥에서 샌다

그런데 양극화 국면의 무응답은 성·연령·지역으로 설명되지 않는 곳에서 발생한다. 같은 60대 영남 남성 안에서도, 어느 쪽을 지지하느냐에 따라 누구는 응답하고 누구는 전화를 끊는다. 빠져나간 사람과 남은 사람의 차이가 정치 성향에 걸려 있는데, 이 성향은 성·연령·지역과 나란히 가지 않는다.

게다가 인구 구성과 투표 선택의 연결이 예전보다 느슨해졌다. “이 세대, 이 지역이면 이 당”이라는 공식이 약해지면서, 인구 정보로 정치 성향을 대신 짐작하기가 더 어려워졌다. 두 가지가 겹치면 결과는 정해져 있다. 인구 구성을 완벽히 맞춘 표본도 정치적으로는 한쪽으로 쏠린 채 남는다. 앞 글의 그림에서 본 그대로다.

그래서 ‘정치적으로 정보가 있는’ 변수가 필요하다

해법의 방향은 어렵지 않다. 인구 정보만으로 잡히지 않는 편향이라면, 정치 성향과 직접 맞물린 변수를 가중에 넣어야 한다.

첫걸음은 보통 학력이다. 2016년 미국 대선에서 여러 조사가 빗나간 큰 이유 하나가 학력 가중을 빠뜨린 것이었다. 학력은 응답 성향과도, 투표 선택과도 강하게 엮여 있어서, 성·연령·지역만 맞추면 고학력 응답자가 과대 대표되기 쉽다. 학력을 가중에 더하는 것은 비교적 논란이 적은 한 칸이다.

그다음은 과거 투표나 이념 성향처럼 정치 신호를 더 직접 담은 변수다. 예를 들어 직전 선거에서 어디에 투표했는지를 물어, 그 분포를 실제 개표 결과에 맞추는 식이다. 이건 인구 정보가 놓치는 정치적 쏠림을 정면으로 겨냥한다.

그림 | 양극화가 깊어질수록 위 칸에서 아래 칸으로. 정확도를 얻는 대신 가정·분산·규제 부담이 커진다.

공짜가 아니다

다만 인구 구성을 넘어서는 순간, 가중은 더 까다로워진다.

먼저 기준 분포의 문제다. 성·연령·지역에는 통계청이라는 기준이 있지만, 정당 지지에는 그런 인구센서스가 없다. 과거 투표는 실제 개표라는 기준이 있어 그나마 낫지만, 사람들은 자기가 누구를 찍었는지 잘못 기억하거나 이긴 쪽에 투표했다고 답하는 경향이 있다. 잘못된 기준에 맞춰 무게를 실으면 편향을 줄이는 게 아니라 새 편향을 만든다.

다음은 분산이다. 가중 변수를 늘릴수록 소수 칸에 큰 무게가 실리고, 효과적인 표본 크기는 줄어든다. 추정치가 더 출렁이게 된다.

그리고 규제가 있다. 공표·보도되는 선거 여론조사는 가중에 쓰는 변수와 배율에 제약이 따른다. 하고 싶다고 아무 변수나 아무 배율로 가중할 수 있는 게 아니다.

그래서 모형 쪽으로 간다

변수를 하나씩 더하는 방식에는 한계가 있다. 칸을 잘게 쪼갤수록 칸마다 응답자가 부족해지기 때문이다. 그래서 최근의 흐름은 모형을 쓰는 쪽이다.

대표적인 게 다층회귀 사후층화(MRP)다. 투표 선택을 성·연령·지역·학력·과거투표 같은 여러 변수의 함수로 모형화한 뒤, 알려진 모집단 구성에 맞춰 다시 합산한다. 칸마다 응답자가 적어도 모형이 이웃 칸의 정보를 빌려 메운다. 응답 성향 자체를 모형으로 추정해 그 역수로 가중하는 방법도 같은 갈래다.

이 길은 가정이 늘고 계산이 무거워진다. 그래도 성·연령·지역이라는 좁은 틀에 갇히지 않는다는 점에서, 양극화가 깊은 환경에서는 점점 불가피한 선택이 되고 있다.

가중은 마지막 손질이지 출발점이 아니다

한 가지는 분명히 해 두자. 아무리 정교한 가중도 사후 처방이다. 한쪽이 통째로 빠진 자료를 뒤에서 완벽히 되살릴 수는 없다. 가중으로 메우는 양이 많아질수록, 그 결과는 자료가 아니라 가정에 더 기대게 된다.

그러니 가중 전략을 끌어올리는 일과 애초에 덜 빠지게 모으는 일은 함께 가야 한다. 어떤 통로로 접촉하는지, 어떤 사람이 끝까지 응답하는지를 바꾸면, 가중이 떠안아야 할 짐 자체가 줄어든다. 좋은 가중은 좋은 수집 위에서만 제 힘을 낸다.

정리

양극화가 깊어질수록 성·연령·지역만으로는 표본의 대표성을 지킬 수 없다. 가중은 인구 구성을 맞추는 데서 정치적 신호를 담는 쪽으로, 단순한 비율 맞추기에서 모형 기반으로 옮겨가야 한다. 다만 어떤 가중도 믿을 만한 기준과 충분히 좋은 자료가 받쳐줄 때만 작동한다. 더 똑똑한 보정과 더 나은 수집, 둘 중 하나만으로는 양극화가 만든 편향을 이길 수 없다.

유권자 양극화 시대의 전화조사, 6·3 지방선거가 드러낸 것

 

유권자 양극화 시대의 전화조사, 6·3 지방선거가 드러낸 것

 

6·3 지방선거가 끝나고 익숙한 말이 다시 나왔다. “여론조사가 또 빗나갔다.” 서울시장처럼 끝까지 박빙으로 본 곳에서 예측이 어긋났고, 경남 같은 곳에서는 같은 시기 조사인데도 방식에 따라 두 자릿수 포인트씩 결과가 갈렸다. 막대한 비용을 들인 조사들이 왜 이렇게 흔들렸을까.

표본을 더 키우면 되지 않느냐는 처방이 흔히 나온다. 그런데 유권자가 둘로 갈라지고 한쪽이 입을 닫는 상황에서는 표본을 늘려도 잘 맞지 않는다. 틀린 답이 오히려 더 단단해지기도 한다. 조사가 흔들리는 원인이 “몇 명한테 못 물었나”가 아니라 “누가 대답을 피했나”에 있기 때문이다.

이 글은 먼저 그 원리를 간단한 그림으로 보이고, 그것이 6·3 지방선거의 전화조사 환경에서 왜 더 크게 작동했는지, 그리고 왜 단순한 처방으로는 풀기 어려운지를 정리한다.

같은 무응답, 다른 결과

간단한 상황을 가정해 보자. 어떤 도시의 유권자가 A 지지 50%, B 지지 50%로 정확히 반반이다. 조사 회사가 전화를 돌린다.

양쪽이 비슷하게 응답하는 평범한 상황이라면 받은 답도 대체로 반반이 된다. 조사 결과 50:50, 실제도 50:50. 잘 맞는다.

이제 분위기가 험악해졌다고 하자. B를 지지하는 사람들이 “내 생각을 굳이 말하고 싶지 않다”며 전화를 끊거나 모름이라고 답한다. A 지지자는 여전히 잘 응답한다. 전화를 건 사람 수는 똑같다. 그런데 실제로 답한 사람만 모아 보면 A가 부풀려진다. 받은 답이 A 62%, B 38%처럼 한쪽으로 쏠린다. 실제는 여전히 반반인데 조사는 A가 앞선다고 말한다. 사라진 12%포인트는 응답을 피한 쪽이 통계에서 빠지면서 생긴 착시다.

그림 1 | 실제 지지율이 50:50으로 같아도, B진영이 응답을 피하면 조사 결과가 12%포인트 어긋난다.

표본을 키워도 안 되는 이유

표본을 2배로 늘리면 어떻게 될까. 응답을 피하는 성향이 그대로라면 더 많은 A 지지자와 더 적은 B 지지자를 똑같은 비율로 더 모을 뿐이다. 같은 방향으로 틀린 숫자가 더 정밀해진다. 틀린 과녁을 더 촘촘히 맞히는 셈이다. 표본 크기는 우연한 흔들림은 줄여 주지만, 한쪽이 빠져서 생긴 치우침은 줄이지 못한다.

6·3 지방선거는 전화조사에 불리한 환경이었다

이번 선거는 이 함정이 유난히 깊어지는 조건을 두루 갖추고 있었다.

첫째, 상대를 선이 아니라 악으로 규정하는 분위기가 강했다. 이런 구도에서는 한쪽 지지자가 자기 선택을 낯선 사람에게 밝히기를 꺼린다. 6·3 선거 분석에서도 보수 성향 유권자의 표심이 조사에 충분히 담기지 않았다는 진단이 여러 곳에서 나왔다. 이른바 ‘샤이 보수’다. 투표는 하되 조사에는 응하지 않거나 속내를 감추는 사람들이다.

둘째, 투표율이 낮아서가 아니라 높아서 생긴 문제도 있었다. 이번 지방선거 투표율은 61%로 역대 두 번째로 높았다. 양쪽 지지층이 강하게 결집했고, 한 정당에 일괄로 표를 몰아주던 줄투표가 줄면서 광역과 기초에서 서로 다른 당을 찍는 교차 투표가 늘었다. 결집과 교차가 함께 일어나면 조사로 잡아내야 할 그림이 그만큼 복잡해진다.

셋째, 그리고 이게 제일 중요한데, 전화조사는 응답률 자체가 매우 낮다. 최근 공개된 한 사례를 보면 같은 업체가 같은 기간에 돌린 조사인데도 전화면접 응답률은 10% 안팎, ARS는 2% 안팎이었다. 100명에게 전화를 걸어 두세 명이 끝까지 답하는 구조다. 앞의 식으로 돌아가 보면, 편향은 무응답이 지지와 얼마나 엮였는가를 평균 응답확률로 나눈 값이다. 분모인 응답률이 이렇게 낮으면, 같은 정도의 치우침도 훨씬 큰 편향으로 부풀려진다.

그림 2 | 같은 무응답 쏠림이라도 응답률이 낮을수록 편향이 커진다. 전화면접(약 10%)과 ARS(약 2%)는 그 분모가 특히 작다.

그러니 응답률이 낮은 전화조사일수록, 어느 한쪽이 조금만 덜 응답해도 결과가 크게 흔들린다. 6·3에서 막대한 비용을 들인 조사들이 서울·경남·전북 같은 승부처에서 빗나간 데에는 이 구조가 깔려 있다.

전화면접과 ARS, 둘 다 다른 방향으로 샌다

“그러면 응답률이 조금 더 높은 전화면접을 믿으면 되지 않나” 싶을 수 있다. 그런데 두 방식은 각자 다른 쪽으로 샌다.

전화면접은 면접원과 직접 통화한다. 상대를 악으로 모는 분위기에서는 응답자가 면접원 앞에서 속내를 잘 털어놓지 않는다. 대신 중도층이나 지지 정당이 없는 사람들이 상대적으로 끝까지 응답하는 경향이 있어, 결과가 여당 쪽으로 기우는 일이 잦다.

ARS는 기계음이 묻고 버튼으로 답한다. 익명성이 높아 속내를 덜 숨기지만, 끝까지 버튼을 누르는 사람은 정치에 관심이 아주 많은 사람들로 좁혀진다. 그래서 고관여층, 특히 결집한 보수층이 과하게 잡히기도 한다.

실제로 경남에서는 같은 시기 전화면접 조사가 한 후보의 두 자릿수 우세를 보인 반면, ARS 조사는 오차범위 안 접전으로 나왔다. 같은 유권자를 같은 주에 조사했는데 방식만 바꿨더니 그림이 달라진 것이다. 이럴 때 숫자만 봐서는 어느 쪽이 실제에 가까운지 가릴 수 없다. 두 방식 모두 자기 방향으로 치우쳐 있기 때문이다.

가중을 줘도 다 못 잡는다

“그러면 가중치로 보정하면 되지 않나” 싶을 것이다. 조사 회사는 성별·연령·지역 비율을 실제 인구에 맞춰 표본을 보정한다. 응답자 중 20대가 적게 나오면 20대 한 명의 답에 무게를 더 싣는 식이다.

문제는 이 보정이 인구 구성만 맞춘다는 데 있다. 같은 60대 안에서도 어느 진영 지지자가 더 많이 답했는지는 성·연령·지역 가중으로 되돌릴 수 없다. 양극화가 심해지면 “60대니까 이쪽을 찍겠지” 같은 짐작이 깨진다. 그래서 인구 구성이 완벽하게 맞춰진 표본도 정치적으로는 한쪽으로 기운 채 남는다.

정당 지지나 과거 투표를 기준으로 가중을 더 주면 되지 않느냐는 의견도 있다. 방향은 맞지만 함정이 있다. 그 기준이 되는 ‘진짜 분포’를 우리는 모른다. 더구나 큰 선거를 한 번 치르고 나면 지지의 바탕 자체가 출렁인다. 잘못된 기준에 맞춰 무게를 실으면 편향을 줄이는 게 아니라 다른 편향을 새로 만든다. 선거 여론조사는 정해진 기준을 벗어난 보정에 제약도 많다.

단순한 처방이 안 통하는 이유

정리하면 이렇다.

–    표본을 키운다: 우연한 흔들림만 줄 뿐, 한쪽이 빠져 생긴 치우침은 그대로 남는다.

–    성·연령·지역 가중: 인구 구성은 맞추지만 성향 쏠림은 못 잡는다.

–    정당 지지·과거 투표 가중: 기준 분포가 불확실해 과보정 위험이 있다.

–    전화면접과 ARS를 섞는다: 두 방식이 공유하는 ‘전화를 받고 끝까지 답하는 사람만 잡힌다’는 자기선택은 사라지지 않는다.

–    투표할 사람만 추린다(투표 의향 보정): 지방선거는 투표율 예측 자체가 불확실해 또 다른 가정을 얹는 일이 된다.

어느 것도 단독으로는 무응답이 성향과 엮여 생긴 편향을 깨끗이 지우지 못한다.

무응답이 만드는 편향은 대략 이렇게 쓸 수 있다.

편향 ≈ Cov(응답확률, 지지후보) ÷ 평균 응답확률

응답확률과 지지가 따로 놀면(공분산이 0이면) 무응답이 아무리 많아도 편향은 작다. 양극화는 이 둘을 엮어 분자를 키우고, 낮은 응답률은 분모를 줄인다. 전화조사가 양극화 국면에서 특히 약한 이유가 이 한 줄에 들어 있다.

그러면 무엇을 봐야 하나

양극화가 심한 때의 여론조사는 숫자 하나로 읽으면 안 된다. 먼저 누가 빠졌을지를 의심하는 게 순서다. 응답률과 접촉률이 얼마였는지, 어떤 방식으로 조사했는지, 모름·무응답이 얼마나 쌓였는지를 함께 봐야 한다. 한 조사의 한 숫자보다, 같은 시기 여러 조사가 그리는 분포와 그 분포가 한쪽으로 쏠려 있지 않은지를 보는 편이 안전하다.

방식을 고를 때도 마찬가지다. 전화를 받고 끝까지 답하는 사람만 모이는 구조 안에서는, 어떤 보정을 얹어도 빠져나간 사람을 완전히 되살리기 어렵다. 전화라는 통로 밖에서 응답자를 모으는 방식까지 함께 견줘 봐야 그림이 덜 일그러진다. 표본이 크다고 안심할 일이 아니다. 한쪽이 조용히 빠져나가지 않았는지부터 묻는 것, 양극화 시대의 조사를 읽는 일은 거기서 시작한다.

유권자가 양극화되면 왜 여론조사가 더 자주 틀릴까

 

유권자가 양극화되면 왜 여론조사가 더 자주 틀릴까

선거가 끝나면 빠지지 않는 말이 있다. “이번에도 여론조사가 빗나갔다.” 처방으로 흔히 나오는 게 표본을 더 키우자는 것이다. 1,000명이 모자라면 2,000명, 3,000명을 조사하자고. 그런데 유권자가 둘로 갈라진 상황에서는 표본을 늘려도 잘 맞지 않는다. 틀린 답이 오히려 더 단단해지기도 한다.

이유는 생각보다 단순하다. 조사가 틀리는 원인이 “몇 명한테 못 물었나”가 아니라 “누가 대답을 피했나”에 있기 때문이다.

같은 무응답, 다른 결과

간단한 상황을 가정해 보자. 어떤 도시의 유권자가 A 지지 50%, B 지지 50%로 정확히 반반이다. 조사 회사가 전화를 돌린다.

양쪽이 비슷하게 응답하는 평범한 상황이라면 받은 답도 대체로 반반이 된다. 조사 결과 50:50, 실제도 50:50. 잘 맞는다.

이제 분위기가 험악해졌다고 하자. B를 지지하는 사람들이 “내 생각을 굳이 말하고 싶지 않다”며 전화를 끊거나 모름이라고 답한다. A 지지자는 여전히 잘 응답한다. 전화를 건 사람 수는 똑같다. 그런데 실제로 답한 사람만 모아 보면 A가 부풀려진다. 받은 답이 A 62%, B 38%처럼 한쪽으로 쏠린다. 실제는 여전히 반반인데 조사는 A가 앞선다고 말한다. 사라진 12%포인트는 응답을 피한 쪽이 통계에서 빠지면서 생긴 착시다.

그림 | 실제 지지율이 50:50으로 같아도, B진영이 응답을 피하면 조사 결과가 12%포인트 어긋난다.

표본을 키워도 안 되는 이유

표본을 2배로 늘리면 어떻게 될까. 응답을 피하는 성향이 그대로라면 더 많은 A 지지자와 더 적은 B 지지자를 똑같은 비율로 더 모을 뿐이다. 같은 방향으로 틀린 숫자가 더 정밀해진다. 틀린 과녁을 더 촘촘히 맞히는 셈이다. 표본 크기는 우연한 흔들림은 줄여 주지만, 한쪽이 빠져서 생긴 치우침은 줄이지 못한다.

가중을 줘도 다 못 잡는다

“그러면 가중치로 보정하면 되지 않나” 싶을 것이다. 조사 회사는 성별·연령·지역 비율을 실제 인구에 맞춰 표본을 보정한다. 응답자 중 20대가 적게 나오면 20대 한 명의 답에 무게를 더 싣는 식이다.

문제는 이 보정이 인구 구성만 맞춘다는 데 있다. 같은 60대 안에서도 어느 진영 지지자가 더 많이 답했는지는 성·연령·지역 가중으로 되돌릴 수 없다. 양극화가 심해지면 “60대니까 이쪽을 찍겠지” 같은 짐작이 깨진다. 그래서 인구 구성이 완벽하게 맞춰진 표본도 정치적으로는 한쪽으로 기운 채 남는다.

숨은 표심이 더한다

한쪽 선택이 사회적으로 눈치 보이는 분위기가 되면 응답자는 속마음을 숨기거나 모름으로 답한다. 전화를 안 받는 사람만 빠지는 게 아니라, 받은 사람도 진짜 답을 내놓지 않는 것이다. 응답 회피와 답 숨기기가 같은 방향으로 겹치면 치우침은 더 커진다.

조금 더 정확히 쓰면, 무응답이 만드는 편향은 대략 이렇다.

편향 ≈ Cov(응답확률, 지지후보) ÷ 평균 응답확률

응답확률과 지지가 따로 놀면(공분산이 0이면) 무응답이 아무리 많아도 편향은 작다. 양극화는 이 둘을 엮어 공분산을 키운다. 그래서 같은 무응답률에서도 편향이 커진다.

양극화 시기의 조사를 읽는 법

양극화가 심한 때의 여론조사를 읽을 때는 숫자 하나만 보지 말고 누가 빠졌을지를 같이 봐야 한다. 응답률이 얼마였는지, 어떤 방식(전화 면접·ARS·모바일 웹)으로 조사했는지, 모름·무응답이 얼마나 쌓였는지가 그 숫자의 믿음직함을 가른다. 표본이 크다고 안심할 일이 아니라, 한쪽이 조용히 빠져나가지 않았는지부터 의심하는 게 순서다.

 

정반대의 여론조사: 우리는 왜 믿고 싶은 숫자만 고르게 되었나

6월 둘째 주에 나온 전국지표조사(NBS)에서 이재명 대통령의 국정운영 긍정 평가는 57%, 부정은 33%였다. 같은 주 한국갤럽도 긍정 57%, 부정 35%로 거의 같았다. 그런데 한 주 뒤 리얼미터 집계에서는 잘함 46%, 잘못함 51%로 부정이 앞섰다. 정당 지지도는 격차가 더 벌어진다. NBS는 더불어민주당 41% 대 국민의힘 25%, 갤럽은 41% 대 29%로 민주당이 두 자릿수 차이로 앞섰는데, 리얼미터에서는 민주당 40.1% 대 국민의힘 42.3%로 국민의힘이 역전한다.

세 조사 모두 "전국 만 18세 이상", "표본오차 ±3.1%포인트", "행정안전부 주민등록인구 기준 가중"이라는 같은 이력서를 달고 나왔다. 그런데 한쪽은 여당 우세, 다른 쪽은 야당 우세라는 정반대의 현실을 내놓는다.

숫자를 한 칸 더 열어 보면 차이가 어디서 오는지 분명해진다. 민주당 지지율은 NBS 41%, 갤럽 41%, 리얼미터 40.1%로 세 조사가 사실상 같다. 벌어지는 건 국민의힘이다. 전화면접인 NBS와 갤럽에서는 25%, 29%인데 ARS인 리얼미터에서는 42.3%다. 13~17%포인트 차이가 거의 전부 국민의힘 한 정당에서 발생한다. 무당층 규모도 전화면접에서 21~24%, ARS에서 15% 안팎으로 갈린다.

이 차이를 만드는 변수는 조사방법 하나다. NBS와 갤럽은 면접원이 직접 묻는 전화면접이고 응답률이 각각 26.0%, 11.3%다. 리얼미터는 기계가 묻는 ARS이고 응답률이 3.3%다. 100명에게 전화를 걸어 3명이 끝까지 답한 표본과, 11명에서 26명이 답한 표본은 응답자 구성이 다르다. 정치 관심이 높고 답할 동기가 강한 사람일수록 ARS에 남는다. ARS에서 국민의힘과 적극 지지층 응답이 두껍게 잡히는 까닭이다.

시차 때문 아니냐는 반론이 가능하다. 리얼미터는 6월 셋째 주, 나머지 둘은 둘째 주 조사다. 그러나 한 주 사이에 국민의힘 지지가 13~17%포인트 실제로 뛰었다고 보긴 어렵다. 갤럽의 최근 6개월 추이에서 국민의힘은 줄곧 18~29% 안에 있었다. 같은 기간 민주당 지지율이 세 조사에서 나란히 40~41%로 멈춰 있다는 사실도 시차 설명과 맞지 않는다. 한 주가 흘렀어도 움직인 건 국민의힘 숫자뿐이고, 그 움직임은 조사방법 경계와 정확히 겹친다.

문제는 이 두 숫자가 모두 "여론조사"라는 같은 이름으로 유통된다는 데 있다. 여당에 우호적인 사람은 NBS와 갤럽을, 야당에 우호적인 사람은 리얼미터를 인용한다. 같은 달에 대통령 긍정 57%와 46%가 동시에 존재하니, 인용하는 쪽은 자기 진영에 유리한 숫자를 고르기만 하면 된다. 정당 지지도도 민주당 우세본과 국민의힘 우세본이 둘 다 손에 들려 있다. 조사방법의 차이가 정파별 무기고로 바뀐 셈이다. 헤드라인만 보는 시민에게는 매주 두 개의 대한민국이 번갈아 제시된다.

여기서 보통의 유권자는 어느 쪽이 맞는지 판별할 도구가 없다. 그래서 신뢰가 방법론이 아니라 정파성에 닻을 내린다. 믿을 만한 조사를 고르는 게 아니라 믿고 싶은 결과를 고른다. 이게 지금 여론조사 소비의 실제 모습이다.

왜 판별 도구가 사라졌나. 전화면접 진영이 그 닻을 내려 주지 못했기 때문이다.

지난 몇 년간 전화면접 쪽의 공개 발언은 대부분 ARS 비판에 쏠려 있었다. 응답률이 한 자릿수로 낮고 정치 고관심층이 과대 대표된다는 지적이다. 방법론으로 보면 틀린 말이 아니다. 갤럽도 홈페이지에서 정치 고관심층 위주 조사가 전체 여론을 왜곡한다고, 조사방법이 다르면 결과도 다르다고 설명한다.

그런데 비판은 절반의 일이다. 나머지 절반은 "그래서 우리 방식이 선거를 더 정확히 맞혔다"는 실증인데, 전화면접 진영은 이걸 누적해 보여주지 못했다. 오히려 갤럽은 평소 정당 지지도는 선거 예측이 아니라고, 표본오차보다 작은 변동에 의미를 두지 말라고 미리 선을 긋는다. 옳은 주의 사항이다. 하지만 ARS의 정확성을 문제 삼으면서 정작 자기 조사는 정확성 평가의 무대에서 빠지겠다고 하면, 그 비판은 공중에 뜬다. 시민이 보기엔 "당신들 방식이 더 맞다는 증거는 어디 있느냐"는 물음에 답이 없는 것이다.

전화면접이 늘 옳았던 것도 아니다. 같은 전화면접인 NBS와 갤럽에서도 국민의힘이 25%와 29%로 4%포인트 갈린다. 전화면접 내부에도 편차가 있고, 선거 적중 기록 역시 진영의 주장만큼 완결돼 있지 않다. 이 부분은 실제 선거의 득표율과 사전 조사를 맞대어 본 별도의 점검이 필요하다. 다만 그 점검을 공개적으로, 반복적으로 떠안은 쪽이 전화면접 진영이었느냐고 물으면 답이 궁색해진다.

해법은 또 한 번의 ARS 비판이 아니다. 자기 조사 결과를 선거 결과 앞에 반복해서 올려놓고 검증받는 일이다. 그 기록이 쌓여야 시민의 신뢰가 정파성 말고 닻을 내릴 곳이 생긴다. 그 자리를 비워 둔 채 상대 방식만 깎아내리는 동안, 유권자는 합리적으로 고르는 법을 잃고 믿고 싶은 숫자만 고르는 습관을 들였다. 지금의 여론조사 불신은 ARS가 만든 것이 아니라, 전화면접 진영이 메우지 않은 빈자리가 만든 것이다.

---

자료 출처

• 전국지표조사(NBS) 제182호, 2026년 6월 2주(6/8~10), 한국리서치·케이스탯리서치, 전화면접(통신사 가상번호), 응답률 26.0%, n=1,001
• 한국갤럽 데일리 오피니언 제665호, 2026년 6월 2주(6/9~11), CATI(무선 가상번호), 응답률 11.3%, n=1,002
• 리얼미터·에너지경제신문, 2026년 6월 3주(6/18~19), 무선 100% RDD ARS, 응답률 3.3%, n=1,001. 국정평가 수치는 정당지지도 교차표 base 기준

 

결국 과거 투표였다: 사회경제 변수 가중의 실패기

요즘 여론조사를 보는 사람들이 공통으로 품는 의심이 있다. 여당 지지가 실제보다 높게, 제1야당 지지가 실제보다 낮게 나오는 것 아니냐는 것이다. 조사하는 사람 입장에서 이 의심은 불쾌하지만 근거가 없지 않다. 응답이라는 행위 자체가 선택이고, 누가 응답을 선택하는지가 표본의 정치적 구성을 결정하기 때문이다. 문제는 처방이다. 성, 연령, 지역이야 할당과 가중으로 맞춘다 치고, 그다음에 무엇을 더 맞춰야 이 쏠림이 잡히는가.

직관적인 답은 사회경제적 배경이다. 학력이 높은 사람, 사무직, 자가 보유자가 과대 표집된다면 교육수준이나 직업이나 주택 변수를 가중에 추가하면 되지 않겠는가. 나도 그렇게 생각했고, 그래서 자체 조사 데이터로 하나씩 확인해 봤다. 결론을 먼저 말하면, 쏠림은 실재했고 보정은 작동했는데 정치 지표는 꿈쩍도 하지 않았다.

쏠림은 분명히 있다

벤치마크는 통계청 2025년 사회조사를 썼다. 만 18세 이상 가구원 3만 2천여 명에 가구원가중값을 적용하면 국내에서 구할 수 있는 가장 믿을 만한 인구·사회 분포가 나온다. 여기에 자체 휴대전화 웹조사(전국 만 18세 이상 2,530명, 성·연령·지역 가중)를 비교했다. 비교 변수는 일부러 할당에 쓰지 않은 것들로만 골랐다. 할당 변수의 일치는 설계의 결과일 뿐 대표성의 증거가 아니기 때문이다.

결과는 교과서적이었다. 경제활동 비율은 벤치마크와 0.4%p 차이로 사실상 일치했고, 가구소득 분포도 저소득층이 5.8%p 덜 잡힌 것 외에는 구간별로 잘 붙었다. 자영업 비중은 0.2%p 차이로 거의 정확했다. 반면 교육수준은 고졸 이하가 벤치마크보다 12.8%p 적었고, 직업에서는 사무·관리·전문직이 8.8%p 많고 생산·기능·노무직이 8.1%p 적었다. 고학력 화이트칼라 쏠림이다. 서울 지역 조사에서는 자가 거주자가 사회조사 서울 기준(48.4%)보다 7%p 가까이 많이 잡힌 표본도 있었다. 자기선택형 웹조사에서 늘 보고되는 패턴이고, 전화조사라고 다르지 않다.

그런데 보정해도 아무 일도 일어나지 않는다

여기까지 보면 처방은 자명해 보인다. 교육, 소득, 직업을 림가중 차원에 추가하면 된다. 실제로 했다. 성×연령 12셀과 지역 7권역은 기존 목표를 유지하고 교육 3구간, 가구소득 4구간, 직업 7구분을 사회조사 분포에 맞춰 레이킹을 돌렸다. 수렴은 깔끔했고 가중 효율 손실도 유효표본 90%에서 78%로 감당할 만했다.

그리고 국정평가는 0.2%p, 정당지지는 0.3%p 움직였다. 대선 투표 회상도 0.3%p 안에서 멈췄다. 12.8%p짜리 교육 쏠림을 전부 걷어냈는데 정치 지표는 측정오차 수준에서 끝난 것이다. 움직인 것은 이념성향(진보가 1.8%p 감소)과 주식투자 경험(4.2%p 감소)뿐이었는데, 둘 다 방향이 이론과 일치한다. 고학력층이 더 진보적이고 주식투자는 소득·교육과 직결되니, 림가중 자체는 정확히 작동했다는 뜻이다.

서울시장 선거 관련 조사 두 건에서도 같은 실험을 반복했다. 주택 점유형태를 사회조사 서울 분포에 맞추고, 주택소유 여부는 벤치마크가 약해서 목표값을 48%에서 59%까지 시나리오로 움직여 봤다. 후보 가상대결 지지율의 변화는 어떤 시나리오에서도 1%p 안팎이었고, 점유형태 기준으로는 오히려 보수 후보가 미세하게 깎이는 역방향이 나왔다. 표본이 자가 거주자를 과대 표집하고 있었기 때문이다. 부동산이 의제인 선거에서조차 주택 변수 가중은 판을 못 움직였다.

왜 안 움직이는가

산수는 단순하다. 가중으로 추정치가 움직이려면 두 조건이 동시에 성립해야 한다. 추가하는 변수에서 표본과 모집단이 어긋나 있어야 하고, 기존 가중을 통제한 뒤에도 그 변수가 종속변수와 상관이 남아 있어야 한다. 사회경제 변수들은 첫째 조건은 충족했지만 둘째에서 무너졌다. 한국 정치 태도의 분산은 연령이 압도적으로 흡수한다. 성과 연령과 지역을 이미 맞춘 표본에서 같은 연령대의 고졸과 대졸은, 유주택자와 무주택자는, 정당 선호가 생각만큼 다르지 않다. 그리고 고학력 쏠림은 진보 응답자와 보수 응답자 양쪽에서 비슷한 비율로 일어난다. 구성을 바꿔도 비율이 안 바뀌는 이유다.

뒤집어 말하면, 여론조사의 당파적 쏠림은 학력이나 자산을 경유해서 생기는 현상이 아니다. 정치적 관여와 당파성 그 자체의 차원에서 생긴다. 지금 국면에서는 정권 지지층이 조사에 더 적극적으로 응한다는 요인까지 겹친다. 인구·사회경제 변수는 이 차원을 비껴간다. 비유하자면 열이 나는 환자에게 체중을 맞추는 옷을 입히는 셈이다.

움직이는 것은 과거 투표뿐이다

같은 데이터에 대선 투표 회상을 가중 차원으로 추가하면 이야기가 달라진다. 표본의 회상 분포를 실제 개표 결과에 맞추는 순간 정당지지는 두 자릿수 %p가 이동했고, 그 이동은 거의 전부 양당 사이에서 일어났다. 무당층과 소수 정당은 거의 흔들리지 않았다. 보정이 표본을 뒤엎는 게 아니라 양당 회상층의 비율만 재조정한다는 뜻이다. 서울 조사에서도 후보 가상대결 격차가 크게 좁혀졌다. 사회경제 변수 다섯 개를 갈아 넣어도 1%p가 안 나오던 자리에서, 회상 변수 하나가 6~13%p를 움직였다.

이게 우연이 아닌 것이, 과거 투표는 두 가지 점에서 특별하다. 첫째, 개표 결과라는 행정 기준값이 존재하는 유일한 정치 변수다. 교육이나 소득의 벤치마크는 결국 다른 조사의 추정치지만 득표율은 추정치가 아니다. 둘째, 당파적 응답 선택이라는 문제의 발생 차원에 직접 닿아 있다. 퓨리서치가 ATP 패널을 정당일체감, 유권자 등록, 자원봉사로 캘리브레이션하는 것, 영국 조사업계가 1992년 총선 참사 이후 과거 투표 가중을 표준 도구로 정착시킨 것 모두 같은 결론의 다른 표현이다.

다만 회상은 거짓말을 한다

물론 공짜는 아니다. 과거 투표 회상에는 잘 알려진 두 가지 오염이 있다. 하나는 투표율 과대보고다. 내 데이터에서 비투표 응답은 9% 수준이었는데 실제 기권율은 20%가 넘었다. 다른 하나는 승자 쏠림 허위 회상이다. 시간이 지나면 패자에게 투표한 사람의 일부가 승자에게 투표했다고, 혹은 투표하지 않았다고 답하게 된다. 영국에서 2017년 직후 41%였던 노동당 투표 회상이 2년 뒤 같은 패널에서 한참 낮아진 것이 유명한 사례다.

그래서 적용 방식이 중요하다. 내가 정착시키려는 원칙은 이렇다. 첫째, 투표율은 건드리지 않는다. 기권을 인정한 소수가 전체 기권자의 대표라는 보장이 없으므로, 비투표·모름 칸은 표본 비율을 그대로 목표값으로 두고 투표층 내부의 후보 구성만 실제 득표율 비례로 맞춘다. 둘째, 회상의 질을 문항에서 끌어올린다. 무기명 투표 프레임, 기억나지 않음 보기, 그리고 "투표하려 했지만 사정이 생겨 못 했다" 같은 체면 유지 보기가 기권 인정률을 올린다는 것은 벨리 연구진 이래 반복 검증된 결과다. 셋째, 반복 조사라면 선거 직후 웨이브에서 받아둔 투표 응답을 패널로 고정해 회상 이동 자체를 차단한다. 유고브와 오피니엄이 쓰는 방식이다. 넷째, 단일 수치를 고집하지 않는다. 기본 가중과 당파 보정 가중을 나란히 제시하면 진실이 들어 있을 구간이 나오고, 그 구간 보고가 어느 한쪽 수치보다 정직하다. 허위 회상이 승자 쪽으로 쏠리는 만큼 당파 보정값은 보수 진영의 하한이 아니라 상한에 가까울 수 있다는 단서도 함께 단다.

마지막으로 제도적 단서 하나. 공표용 선거 여론조사는 성, 연령, 지역 외의 가중이 허용되지 않는다. 과거 투표 가중은 비공표 기획조사와 내부 분석의 도구이지 공표 조사의 도구가 아니다. 그러나 바로 그 비공표 영역에서, 우리가 매일 보는 공표 수치들이 어느 방향으로 얼마나 쏠려 있을 수 있는지를 측정하는 자가 더 정확한 판단을 내린다.

정리하자. 사회경제 변수 가중은 표본의 인구·사회적 대표성을 점검하고 전시하는 데에는 유용하다. 그러나 여론조사의 당파적 쏠림을 교정하는 데에는 무력하다는 것이 내 데이터가 세 번 반복해서 보여준 결과다. 쏠림이 생기는 차원에 보정을 걸어야 하고, 그 차원의 이름은 과거 투표 행태다. 1992년의 영국이 도달했던 결론에 2026년의 우리가 자기 데이터로 다시 도달하고 있는 셈이다.

 

푸시투웹을 둘러싼 오해와 한국 통계조사의 진짜 장벽

나는 오랫동안 한 가지를 잘못 알고 있었다. 미국이 우편으로 웹조사 초대장을 보내는 push-to-web을 할 수 있는 건, 표본으로 뽑은 사람의 이름과 연락처를 알기 때문이라고 생각했다. 주소에 이름이 붙어 있으니 "○○○님께"로 편지를 보내고, 응답이 없으면 전화를 걸어 독촉하는 그림을 떠올렸다.

틀렸다. 미국 push-to-web의 출발점에는 이름도 전화번호도 없다. 주소뿐이다.

이 사실 하나를 바로잡고 나니, 한국 통계조사가 왜 아직 조사원의 발품에 묶여 있는가에 대한 내 진단도 통째로 다시 그려야 했다. 오늘 정리하는 글은 그 다시 그리기의 기록이다.

미국은 주소로만 보낸다

미국 ABS(Address-Based Sampling)의 표집틀은 USPS(미국우정청)의 배달순서파일(DSF)을 상업적으로 복제한 주소 목록이다. 연구자는 이 목록을 USPS에서 직접 받지 못하고 MSG(Marketing Systems Group) 같은 민간 벤더에게서 산다. 거기 담긴 것은 거주지 주소와 지오코드다. 이름도 전화번호도 소득도 없다.

그러면 가구 안에서 누구를 응답자로 삼는가. 생일이다. Pew Research Center가 SSRS에 의뢰해 수행한 2025년 NPORS(National Public Opinion Reference Survey) 방법론 문서를 보면 이 설계가 그대로 드러난다. MSG가 USPS 전산 배달순서파일에서 뽑아 제공한 약 1만 8,800가구의 주소로, 일반우편(first-class mail)으로 초대장을 보낸다. 편지는 특정 개인이 아니라 그 가구의 한 사람에게 응답을 요청하고, 성인이 둘 이상이면 다음 생일을 맞는 성인이 응답하도록 안내한다. 전화도 우리가 흔히 떠올리는 추적 전화가 아니다. 편지에 무료 전화번호를 적어두고 원하는 응답자가 직접 걸어 면접원과 응답하는 inbound 방식이다. 최종 응답률(AAPOR RR1)은 29%였다.

여기서 두 가지가 분명해진다. 등기가 아니라 일반우편이라는 것, 그리고 이름으로 개인화하지 않는다는 것이다. 가구 앞으로 보내고, 가구 안에서는 생일로 한 명을 고른다.

연방정부의 ACS(American Community Survey)도 다르지 않다. 표본 주소로 먼저 인터넷 응답을 요청하는 우편물을 보내고, 응답이 없으면 종이 설문지를 보내고, 그래도 안 되면 조사원이 직접 방문한다. 한때 있던 전화(CATI) 단계는 2017년 9월에 폐지됐다. ACS의 우편물 역시 개인 이름이 아니라 그 주소의 거주자 앞으로 간다. 정부 조사인 ACS는 상업적으로 이름·전화를 매칭한 표본을 쓰지 않는다.

"이름이 있다"는 절반만 맞다

그렇다면 내가 알던 "미국엔 이름이 있다"는 완전한 착각이었나. 그렇지는 않다. 다만 그 이름은 다른 데서 온다.

MSG 같은 벤더는 ABS 주소 표본에 옵션으로 이름, 전화번호, 세대주의 연령·성별 같은 정보를 매칭해 붙여 판다. 그러나 이 매칭은 완전하지 않다. 변수에 따라 평균 매칭률이 65~75% 수준이라 표본 전체가 아니라 일부에만 이름·전화가 붙는다. 그리고 무엇보다 이건 사면 받는 선택 옵션이지 모든 조사가 쓰는 기본값이 아니다. 앞서 본 Pew NPORS는 이 옵션을 쓰지 않고 순수하게 주소와 생일법으로 갔다.

이름과 연락처가 풍부하게 붙는 건 오히려 선거 쪽이다. 미국의 voter file은 주 단위 선거인 등록자료를 L2, Catalist, TargetSmart 같은 업체가 모아 이름·주소·정당등록·투표이력에 전화번호와 인구통계 추정치까지 붙여 판매한다. 미국 정치 여론조사가 RDD에서 voter file 기반으로 옮겨간 까닭이다.

정리하면 이렇다. 미국의 기본 통계 인프라(Census MAF, USPS DSF)는 주소만 담는다. 이름·전화는 민간 벤더가 파는 선택적 강화이거나 voter file이라는 별도 자료에서 온다. "미국엔 이름이 있다"와 "미국엔 이름이 없다"가 둘 다 부분적으로 맞는 건, 어느 자료를 말하느냐가 다르기 때문이다.

미국도 지역확률을 버리지 않았다

한 걸음 더 들어가면 흥미로운 사실을 만난다. 미국이 ABS로 다 갈아탔다는 인상과 달리, 가장 정교한 확률 패널은 여전히 지역확률표집의 골격을 안고 있다.

NORC의 AmeriSpeak 패널이 그렇다. 이 패널의 표집틀인 NORC National Frame은 단순한 주소 목록이 아니다. 1차로 대도시권·카운티 규모의 추출단위를 뽑고, 2차로 센서스 트랙·블록그룹에서 정의한 세그먼트를 확률비례로 뽑은 뒤, 그 세그먼트 안의 가구를 USPS DSF로 목록화한다. 그리고 DSF 커버리지가 부족한 세그먼트는 현장 listing으로 보완한다. 2019년 모집에서는 1,514개 세그먼트 가운데 123개를 현장 listing으로 메웠고, 이렇게 8만 가구가량의 농촌 가구를 직접 명부에 더했다. 그 결과 순수 ABS면 92% 수준인 커버리지가 97%까지 올라간다.

접촉도 우편 하나가 아니다. 우편과 전화, 현장 면접원까지 동원하고, 초기 무응답 가구의 일부를 다시 뽑아 면접원이 직접 찾아가는 2단계 설계다. 청년층을 더 뽑기 위해 MSG나 TargetSmart가 "이 가구에 18~24세가 있다"고 표시한 정보를 활용하기도 한다. 앞서 말한 voter file·소비자 데이터 강화가 여기서 실제로 작동하는 것이다.

이 National Frame이 바로 GSS(General Social Survey) 같은 대표적 조사에 쓰여 온 지역확률표본이다. 다단계로 지역을 뽑고, 세그먼트 안에서 가구를 목록화하고, 일부는 현장에서 명부를 만든다. 한국의 조사구 방식과 같은 계보다. NORC는 조사구식 골격을 버린 게 아니라, 세그먼트 안 가구 목록을 현장 listing 대신 DSF로 현대화하고 그것을 재사용 가능한 패널로 만들었을 뿐이다.

그렇다면 한국은

이쯤 되면 "한국은 조사구를 쓰니 대면조사를 할 수밖에 없다"는 익숙한 명제가 흔들린다.

먼저 표집틀이 데이터 수집 모드를 결정하지 않는다. AmeriSpeak가 산 증거다. 조사구식 지역확률 프레임을 쓰면서도 응답은 대부분 웹으로 받는다. 프레임이 조사구냐 주소 목록이냐와, 응답을 대면으로 받느냐 웹으로 받느냐는 별개 문제다. "조사구라서 대면"은 인과를 잘못 잡은 진술이다.

여기에 더 결정적인 사실이 있다. 지금 한국의 조사구는 이미 가구 주소를 갖고 있다. 2015년부터 한국의 인구주택총조사는 등록센서스 방식으로 바뀌었다. 전국 가구를 일일이 방문하지 않고 주민등록부와 건축물대장 같은 행정자료를 연계해 인구·가구·주택을 파악한다. 통계청은 누가 어느 주소에 사는지를 행정자료로 이미 알고 있고, 그 인구주택총조사 결과가 각종 경상조사 표본틀의 기초자료가 된다. 그러니 "조사구는 경계선일 뿐 주소는 조사원이 가야 안다"는 말은 현장 listing 시대의 이야기지 지금 맞는 설명이 아니다.

실무는 더 분명하다. 통계청 승인통계의 경우 신청 기관에 목표 표본의 2배수에 해당하는 조사구를 제공한다. 발송할 주소가 부족하기는커녕 넉넉하다. 미국식 push-to-web을 시도할 재료가 이미 손에 있다는 뜻이다.

그러니 질문은 바뀌어야 한다. 주소가 있는데 왜 아직 방문면접인가.

진짜 장벽은 조사표다

답은 표집틀이 아니다. 조사표다.

한국의 승인통계 조사표는 조사원 면접을 전제로 최적화되어 있다. 자기기입으로 옮기는 순간, 조사원이 보이지 않게 처리하던 일들이 전부 응답자에게 넘어간다. 복잡한 분기를 대신 따라가 주고, 모르는 용어를 설명해 주고, 짧은 답에 한 번 더 캐묻고, 긴 보기 목록을 카드로 제시하던 그 모든 보조가 사라진다. 게다가 면접은 조사원이 응답자를 끝까지 끌고 가지만 자기기입에는 동기를 붙들어 줄 사람이 없다. 설문이 길수록, 특히 응답자 다수가 모바일을 쓰는 환경에서 중도이탈이 급증한다. 미국 ACS가 자기기입용으로 짧고 단순한 양식을 따로 둔 것은 우연이 아니다.

조사표가 가장 큰 장벽이라는 진단에는 역설이 하나 숨어 있다. 이것이 동시에 가장 손댈 수 있는 변수라는 점이다. 표집틀을 행정자료로 새로 짜거나 자료 접근의 법적 근거를 마련하는 일은 통계법 개정과 부처 간 협상을 요구한다. 그러나 조사표를 자기기입용으로 다시 쓰는 일은 통계청 자신의 권한 안에 있다. 입법 없이 내일이라도 착수할 수 있는, 거의 유일한 변수다.

다만 거기에는 청구서가 따라온다. 조사표를 자기기입용으로 다시 쓰면 모드효과로 응답 분포가 바뀐다. 그 순간 과거 시계열과의 비교가 흔들린다. 국가승인통계에서 시계열 단절은 작은 문제가 아니다. 미국도 ACS에 인터넷 응답을 도입할 때 수년간 병행조사로 모드효과를 측정하고 흡수했다. 자기기입용 재설계의 난도는 새 문항을 만드는 데 있는 게 아니라, 그 전환을 하면서 과거와의 비교 가능성을 어떻게 지키느냐에 있다.

다시 그린 결론

처음으로 돌아가자. 나는 미국이 이름과 연락처를 쥐고 있어서 push-to-web을 한다고 믿었다. 실제로는 주소만으로, 생일법으로 한 명을 골라 보내고 있었다. 그리고 한국은 등록센서스 덕분에 이미 그 주소를 갖고 있다. 승인조사라면 2배수 조사구로 충분한 주소를 받는다.

그래서 한국형 MAF를 새로 만들자던 예전의 내 결론은 과녁이 살짝 빗나가 있었다. 문제는 "인프라가 없다"가 아니다. 인프라는 거의 다 있다. 남은 것은 조사표를 자기기입에 맞게 다시 쓰는 일, 그리고 그 과정에서 생기는 모드효과와 시계열 단절을 관리하는 일이다.

표집틀 탓을 멈추고 조사표를 다시 보는 순간, 한국 통계조사의 웹 전환은 먼 제도 개혁의 이야기에서 당장 시작할 수 있는 설계의 이야기로 옮겨온다. 적어도 그 첫 페이지는 오늘 우리가 쥐고 있는 재료만으로도 넘길 수 있다.

층화와 할당은 어떻게 다른가

층화와 할당은 어떻게 다른가

앞 글에서 층화와 집락의 차이를 다뤘다. 그런데 실무에서 더 자주 헷갈리는 짝이 따로 있다. 층화와 할당이다. 두 방식은 보고서 표로 찍어놓으면 거의 똑같이 생겼다. 시도×성별×연령 칸을 만들고 칸마다 인원을 정해서 채운다는 것이 둘 다 똑같다. 그런데 통계적 성격은 완전히 다르다.

외형이 같아서 헷갈린다

층화추출 결과표와 할당추출 결과표를 나란히 놓으면 구분이 안 된다. 둘 다 이런 식이다.

서울 20대 남자 30명

서울 20대 여자 30명

서울 30대 남자 35명

…

표본 구성, 분포, 칸별 인원 모두 비슷하게 보인다. 그래서 "할당이지만 층화처럼 보이는 표"가 한국 여론조사 보고서에 흔하다. 보고서 본문에 "층화추출법을 적용했다"는 문장이 들어가 있어도 실제 동작은 할당인 경우가 많다.

두 방식이 어디서 갈리는지 보려면 표가 아니라 표본을 만드는 과정을 봐야 한다.

층화는 확률추출

층화는 모집단 명부에서 출발한다. 모집단을 시도×성별×연령 같은 기준으로 칸으로 나누고, 각 칸 안에서 단순임의추출이나 계통추출로 표본을 뽑는다. 추출확률이 사전에 정해져 있고, 누가 뽑힐지가 그 확률에 따라 결정된다.

이게 가능하려면 두 가지 조건이 필요하다.

첫째, 모집단 명부(표집틀)가 있어야 한다. 둘째, 그 명부에서 각 사람의 칸 정보(어느 시도, 어느 연령대인지)를 알 수 있어야 한다.

전형적인 예가 통계청 가구조사다. 인구주택총조사 결과로 만든 조사구 명부와 그 안의 가구 정보가 있기 때문에 시도×동읍면으로 층화하고 각 층에서 확률적으로 뽑는 작업이 가능하다. 학생 조사에서 학교명부와 학년·반 정보가 있으면 학교를 층화한 다음 학급·학생을 확률적으로 뽑을 수 있다.

층화의 장점은 표본 추출확률을 알기 때문에 표준오차를 계산할 수 있고, 칸 안이 동질적일수록 분산이 줄어든다는 점이다(deff < 1). 통계적 추론의 정당성이 확보된다.

할당은 비확률추출

할당은 칸별 인원만 정해놓고 그 인원을 채울 때까지 모집하는 방식이다. 누가 들어오는지는 통제되지 않는다. 조사원의 접근 가능성, 응답자의 자발적 응답 의사, 패널의 가입 동기 같은 요인이 표본 구성을 결정한다.

길거리 조사를 떠올리면 이해가 쉽다. "30대 여성 20명만 채우면 끝"이라는 지시를 받은 조사원은 30대 여성처럼 보이는 사람에게 다가가서 응답을 부탁한다. 같은 30대 여성이어도 길거리 시간대, 위치, 조사원의 성향에 따라 누가 표본에 들어갈지가 달라진다. 추출확률은 정의되지 않는다.

온라인 패널 조사도 구조적으로 할당이다. 패널 자체가 자발적 가입자 집단이고, 그 안에서 칸을 채우는 작업은 모집단의 확률표본이 아니다. 패널에 가입한 사람과 안 한 사람의 차이가 이미 표본에 들어가 있다.

할당의 약점은 응답자 자기선택 편의(self-selection bias)가 통제되지 않는다는 점이다. 표준오차도 엄밀하게는 계산할 수 없다. 표본추출확률이 정의되지 않기 때문이다. 실무에서는 단순임의추출 가정으로 표준오차를 보고하지만, 그것이 통계적 정당성을 가진다고 보기는 어렵다.

한국 여론조사에서 둘이 섞이는 이유

한국 정치·사회 여론조사에서 가장 흐릿해지는 곳이 여기다. 보고서에는 "층화추출"이라고 적혀 있지만 실제 작업은 할당에 더 가까운 경우가 많다.

ARS·CATI 조사를 보자. 통신사 가상번호 명부를 받아서 시도×성별×연령으로 층화한 다음 발신한다. 여기까지만 보면 층화처럼 보인다. 그런데 응답률이 3~7% 수준인 환경에서는 사전 추출확률이 사실상 의미를 잃는다. 같은 칸에서 발신된 번호 100건 중 응답한 5명이 누구냐를 결정하는 건 추출 단계의 확률이 아니라 응답자의 자기선택이다. 외형은 층화고 실질은 할당이다.

웹조사도 마찬가지다. 사전 동의 패널이든, 통신사 마케팅 수신동의 SMS 발송이든, 응답자 모집 단계에서 자발성이 강하게 작용한다. 칸별 인원이 다 차면 할당 완료. 이건 명백한 할당이다.

그래서 한국 여론조사 보고서를 읽을 때는 "층화추출"이라는 표현이 두 가지 의미로 쓰인다는 점을 알아야 한다.

명부에서 확률적으로 뽑는 진짜 층화

칸을 미리 정해놓고 응답자가 들어올 때까지 발신·모집하는 할당(외형만 층화)

가구조사처럼 명부 기반 확률추출이 가능한 영역에서는 진짜 층화가 작동한다. 정치 여론조사 영역에서는 사실상 할당이 작동한다.

가중치만 봐서는 구분이 안 된다

층화든 할당이든 가중치를 셀(region × gender × age) 단위로 거는 작업은 똑같이 한다. 셀 안 표본 비율과 모집단 비율의 비로 가중치를 만들고, 이걸 곱해서 분포를 모집단에 맞춘다.

그래서 가중치 적용 방식만 보면 두 방식이 구분되지 않는다. 가중치는 사후 보정 도구일 뿐, 표본추출 자체의 통계적 성격을 바꾸지 못한다. 비확률표본에 가중치를 걸어도 비확률표본이다. 다만 분포만 모집단과 비슷해진다.

이 부분이 자주 오해된다. "셀별 가중치를 적용했으니 추출확률이 보정된 것 아니냐"는 식의 진술은 정확하지 않다. 가중치는 분포를 맞출 뿐, 응답자 자기선택을 무효화하지 않는다.

구분 기준

둘을 구분하려면 한 가지만 보면 된다. 칸 안에서 누가 뽑힐지가 어떻게 결정되는가.

칸 안에서 누구를 뽑을지가 사전 추출확률로 결정되면 → 층화

칸 안에서 누구를 뽑을지가 응답자 자기선택이나 조사원 선택으로 결정되면 → 할당

표본 설계서나 보고서를 읽을 때 이 질문을 던지면 된다. 명부 기반 확률추출이 작동했는가, 아니면 칸 채우기로 작동했는가. 답이 후자라면 그 조사는 표현이 어떻게 되어 있든 할당이다.

층화추출과 할당추출은 외형만 같고 통계적 정당성이 다르다. 한국 여론조사 실무를 분석할 때 이 구분이 잡혀 있어야 보고서 문구와 실제 작업 사이의 간극이 보인다.