결국 과거 투표였다: 사회경제 변수 가중의 실패기

요즘 여론조사를 보는 사람들이 공통으로 품는 의심이 있다. 여당 지지가 실제보다 높게, 제1야당 지지가 실제보다 낮게 나오는 것 아니냐는 것이다. 조사하는 사람 입장에서 이 의심은 불쾌하지만 근거가 없지 않다. 응답이라는 행위 자체가 선택이고, 누가 응답을 선택하는지가 표본의 정치적 구성을 결정하기 때문이다. 문제는 처방이다. 성, 연령, 지역이야 할당과 가중으로 맞춘다 치고, 그다음에 무엇을 더 맞춰야 이 쏠림이 잡히는가.

직관적인 답은 사회경제적 배경이다. 학력이 높은 사람, 사무직, 자가 보유자가 과대 표집된다면 교육수준이나 직업이나 주택 변수를 가중에 추가하면 되지 않겠는가. 나도 그렇게 생각했고, 그래서 자체 조사 데이터로 하나씩 확인해 봤다. 결론을 먼저 말하면, 쏠림은 실재했고 보정은 작동했는데 정치 지표는 꿈쩍도 하지 않았다.

쏠림은 분명히 있다

벤치마크는 통계청 2025년 사회조사를 썼다. 만 18세 이상 가구원 3만 2천여 명에 가구원가중값을 적용하면 국내에서 구할 수 있는 가장 믿을 만한 인구·사회 분포가 나온다. 여기에 자체 휴대전화 웹조사(전국 만 18세 이상 2,530명, 성·연령·지역 가중)를 비교했다. 비교 변수는 일부러 할당에 쓰지 않은 것들로만 골랐다. 할당 변수의 일치는 설계의 결과일 뿐 대표성의 증거가 아니기 때문이다.

결과는 교과서적이었다. 경제활동 비율은 벤치마크와 0.4%p 차이로 사실상 일치했고, 가구소득 분포도 저소득층이 5.8%p 덜 잡힌 것 외에는 구간별로 잘 붙었다. 자영업 비중은 0.2%p 차이로 거의 정확했다. 반면 교육수준은 고졸 이하가 벤치마크보다 12.8%p 적었고, 직업에서는 사무·관리·전문직이 8.8%p 많고 생산·기능·노무직이 8.1%p 적었다. 고학력 화이트칼라 쏠림이다. 서울 지역 조사에서는 자가 거주자가 사회조사 서울 기준(48.4%)보다 7%p 가까이 많이 잡힌 표본도 있었다. 자기선택형 웹조사에서 늘 보고되는 패턴이고, 전화조사라고 다르지 않다.

그런데 보정해도 아무 일도 일어나지 않는다

여기까지 보면 처방은 자명해 보인다. 교육, 소득, 직업을 림가중 차원에 추가하면 된다. 실제로 했다. 성×연령 12셀과 지역 7권역은 기존 목표를 유지하고 교육 3구간, 가구소득 4구간, 직업 7구분을 사회조사 분포에 맞춰 레이킹을 돌렸다. 수렴은 깔끔했고 가중 효율 손실도 유효표본 90%에서 78%로 감당할 만했다.

그리고 국정평가는 0.2%p, 정당지지는 0.3%p 움직였다. 대선 투표 회상도 0.3%p 안에서 멈췄다. 12.8%p짜리 교육 쏠림을 전부 걷어냈는데 정치 지표는 측정오차 수준에서 끝난 것이다. 움직인 것은 이념성향(진보가 1.8%p 감소)과 주식투자 경험(4.2%p 감소)뿐이었는데, 둘 다 방향이 이론과 일치한다. 고학력층이 더 진보적이고 주식투자는 소득·교육과 직결되니, 림가중 자체는 정확히 작동했다는 뜻이다.

서울시장 선거 관련 조사 두 건에서도 같은 실험을 반복했다. 주택 점유형태를 사회조사 서울 분포에 맞추고, 주택소유 여부는 벤치마크가 약해서 목표값을 48%에서 59%까지 시나리오로 움직여 봤다. 후보 가상대결 지지율의 변화는 어떤 시나리오에서도 1%p 안팎이었고, 점유형태 기준으로는 오히려 보수 후보가 미세하게 깎이는 역방향이 나왔다. 표본이 자가 거주자를 과대 표집하고 있었기 때문이다. 부동산이 의제인 선거에서조차 주택 변수 가중은 판을 못 움직였다.

왜 안 움직이는가

산수는 단순하다. 가중으로 추정치가 움직이려면 두 조건이 동시에 성립해야 한다. 추가하는 변수에서 표본과 모집단이 어긋나 있어야 하고, 기존 가중을 통제한 뒤에도 그 변수가 종속변수와 상관이 남아 있어야 한다. 사회경제 변수들은 첫째 조건은 충족했지만 둘째에서 무너졌다. 한국 정치 태도의 분산은 연령이 압도적으로 흡수한다. 성과 연령과 지역을 이미 맞춘 표본에서 같은 연령대의 고졸과 대졸은, 유주택자와 무주택자는, 정당 선호가 생각만큼 다르지 않다. 그리고 고학력 쏠림은 진보 응답자와 보수 응답자 양쪽에서 비슷한 비율로 일어난다. 구성을 바꿔도 비율이 안 바뀌는 이유다.

뒤집어 말하면, 여론조사의 당파적 쏠림은 학력이나 자산을 경유해서 생기는 현상이 아니다. 정치적 관여와 당파성 그 자체의 차원에서 생긴다. 지금 국면에서는 정권 지지층이 조사에 더 적극적으로 응한다는 요인까지 겹친다. 인구·사회경제 변수는 이 차원을 비껴간다. 비유하자면 열이 나는 환자에게 체중을 맞추는 옷을 입히는 셈이다.

움직이는 것은 과거 투표뿐이다

같은 데이터에 대선 투표 회상을 가중 차원으로 추가하면 이야기가 달라진다. 표본의 회상 분포를 실제 개표 결과에 맞추는 순간 정당지지는 두 자릿수 %p가 이동했고, 그 이동은 거의 전부 양당 사이에서 일어났다. 무당층과 소수 정당은 거의 흔들리지 않았다. 보정이 표본을 뒤엎는 게 아니라 양당 회상층의 비율만 재조정한다는 뜻이다. 서울 조사에서도 후보 가상대결 격차가 크게 좁혀졌다. 사회경제 변수 다섯 개를 갈아 넣어도 1%p가 안 나오던 자리에서, 회상 변수 하나가 6~13%p를 움직였다.

이게 우연이 아닌 것이, 과거 투표는 두 가지 점에서 특별하다. 첫째, 개표 결과라는 행정 기준값이 존재하는 유일한 정치 변수다. 교육이나 소득의 벤치마크는 결국 다른 조사의 추정치지만 득표율은 추정치가 아니다. 둘째, 당파적 응답 선택이라는 문제의 발생 차원에 직접 닿아 있다. 퓨리서치가 ATP 패널을 정당일체감, 유권자 등록, 자원봉사로 캘리브레이션하는 것, 영국 조사업계가 1992년 총선 참사 이후 과거 투표 가중을 표준 도구로 정착시킨 것 모두 같은 결론의 다른 표현이다.

다만 회상은 거짓말을 한다

물론 공짜는 아니다. 과거 투표 회상에는 잘 알려진 두 가지 오염이 있다. 하나는 투표율 과대보고다. 내 데이터에서 비투표 응답은 9% 수준이었는데 실제 기권율은 20%가 넘었다. 다른 하나는 승자 쏠림 허위 회상이다. 시간이 지나면 패자에게 투표한 사람의 일부가 승자에게 투표했다고, 혹은 투표하지 않았다고 답하게 된다. 영국에서 2017년 직후 41%였던 노동당 투표 회상이 2년 뒤 같은 패널에서 한참 낮아진 것이 유명한 사례다.

그래서 적용 방식이 중요하다. 내가 정착시키려는 원칙은 이렇다. 첫째, 투표율은 건드리지 않는다. 기권을 인정한 소수가 전체 기권자의 대표라는 보장이 없으므로, 비투표·모름 칸은 표본 비율을 그대로 목표값으로 두고 투표층 내부의 후보 구성만 실제 득표율 비례로 맞춘다. 둘째, 회상의 질을 문항에서 끌어올린다. 무기명 투표 프레임, 기억나지 않음 보기, 그리고 "투표하려 했지만 사정이 생겨 못 했다" 같은 체면 유지 보기가 기권 인정률을 올린다는 것은 벨리 연구진 이래 반복 검증된 결과다. 셋째, 반복 조사라면 선거 직후 웨이브에서 받아둔 투표 응답을 패널로 고정해 회상 이동 자체를 차단한다. 유고브와 오피니엄이 쓰는 방식이다. 넷째, 단일 수치를 고집하지 않는다. 기본 가중과 당파 보정 가중을 나란히 제시하면 진실이 들어 있을 구간이 나오고, 그 구간 보고가 어느 한쪽 수치보다 정직하다. 허위 회상이 승자 쪽으로 쏠리는 만큼 당파 보정값은 보수 진영의 하한이 아니라 상한에 가까울 수 있다는 단서도 함께 단다.

마지막으로 제도적 단서 하나. 공표용 선거 여론조사는 성, 연령, 지역 외의 가중이 허용되지 않는다. 과거 투표 가중은 비공표 기획조사와 내부 분석의 도구이지 공표 조사의 도구가 아니다. 그러나 바로 그 비공표 영역에서, 우리가 매일 보는 공표 수치들이 어느 방향으로 얼마나 쏠려 있을 수 있는지를 측정하는 자가 더 정확한 판단을 내린다.

정리하자. 사회경제 변수 가중은 표본의 인구·사회적 대표성을 점검하고 전시하는 데에는 유용하다. 그러나 여론조사의 당파적 쏠림을 교정하는 데에는 무력하다는 것이 내 데이터가 세 번 반복해서 보여준 결과다. 쏠림이 생기는 차원에 보정을 걸어야 하고, 그 차원의 이름은 과거 투표 행태다. 1992년의 영국이 도달했던 결론에 2026년의 우리가 자기 데이터로 다시 도달하고 있는 셈이다.

 

푸시투웹을 둘러싼 오해와 한국 통계조사의 진짜 장벽

나는 오랫동안 한 가지를 잘못 알고 있었다. 미국이 우편으로 웹조사 초대장을 보내는 push-to-web을 할 수 있는 건, 표본으로 뽑은 사람의 이름과 연락처를 알기 때문이라고 생각했다. 주소에 이름이 붙어 있으니 "○○○님께"로 편지를 보내고, 응답이 없으면 전화를 걸어 독촉하는 그림을 떠올렸다.

틀렸다. 미국 push-to-web의 출발점에는 이름도 전화번호도 없다. 주소뿐이다.

이 사실 하나를 바로잡고 나니, 한국 통계조사가 왜 아직 조사원의 발품에 묶여 있는가에 대한 내 진단도 통째로 다시 그려야 했다. 오늘 정리하는 글은 그 다시 그리기의 기록이다.

미국은 주소로만 보낸다

미국 ABS(Address-Based Sampling)의 표집틀은 USPS(미국우정청)의 배달순서파일(DSF)을 상업적으로 복제한 주소 목록이다. 연구자는 이 목록을 USPS에서 직접 받지 못하고 MSG(Marketing Systems Group) 같은 민간 벤더에게서 산다. 거기 담긴 것은 거주지 주소와 지오코드다. 이름도 전화번호도 소득도 없다.

그러면 가구 안에서 누구를 응답자로 삼는가. 생일이다. Pew Research Center가 SSRS에 의뢰해 수행한 2025년 NPORS(National Public Opinion Reference Survey) 방법론 문서를 보면 이 설계가 그대로 드러난다. MSG가 USPS 전산 배달순서파일에서 뽑아 제공한 약 1만 8,800가구의 주소로, 일반우편(first-class mail)으로 초대장을 보낸다. 편지는 특정 개인이 아니라 그 가구의 한 사람에게 응답을 요청하고, 성인이 둘 이상이면 다음 생일을 맞는 성인이 응답하도록 안내한다. 전화도 우리가 흔히 떠올리는 추적 전화가 아니다. 편지에 무료 전화번호를 적어두고 원하는 응답자가 직접 걸어 면접원과 응답하는 inbound 방식이다. 최종 응답률(AAPOR RR1)은 29%였다.

여기서 두 가지가 분명해진다. 등기가 아니라 일반우편이라는 것, 그리고 이름으로 개인화하지 않는다는 것이다. 가구 앞으로 보내고, 가구 안에서는 생일로 한 명을 고른다.

연방정부의 ACS(American Community Survey)도 다르지 않다. 표본 주소로 먼저 인터넷 응답을 요청하는 우편물을 보내고, 응답이 없으면 종이 설문지를 보내고, 그래도 안 되면 조사원이 직접 방문한다. 한때 있던 전화(CATI) 단계는 2017년 9월에 폐지됐다. ACS의 우편물 역시 개인 이름이 아니라 그 주소의 거주자 앞으로 간다. 정부 조사인 ACS는 상업적으로 이름·전화를 매칭한 표본을 쓰지 않는다.

"이름이 있다"는 절반만 맞다

그렇다면 내가 알던 "미국엔 이름이 있다"는 완전한 착각이었나. 그렇지는 않다. 다만 그 이름은 다른 데서 온다.

MSG 같은 벤더는 ABS 주소 표본에 옵션으로 이름, 전화번호, 세대주의 연령·성별 같은 정보를 매칭해 붙여 판다. 그러나 이 매칭은 완전하지 않다. 변수에 따라 평균 매칭률이 65~75% 수준이라 표본 전체가 아니라 일부에만 이름·전화가 붙는다. 그리고 무엇보다 이건 사면 받는 선택 옵션이지 모든 조사가 쓰는 기본값이 아니다. 앞서 본 Pew NPORS는 이 옵션을 쓰지 않고 순수하게 주소와 생일법으로 갔다.

이름과 연락처가 풍부하게 붙는 건 오히려 선거 쪽이다. 미국의 voter file은 주 단위 선거인 등록자료를 L2, Catalist, TargetSmart 같은 업체가 모아 이름·주소·정당등록·투표이력에 전화번호와 인구통계 추정치까지 붙여 판매한다. 미국 정치 여론조사가 RDD에서 voter file 기반으로 옮겨간 까닭이다.

정리하면 이렇다. 미국의 기본 통계 인프라(Census MAF, USPS DSF)는 주소만 담는다. 이름·전화는 민간 벤더가 파는 선택적 강화이거나 voter file이라는 별도 자료에서 온다. "미국엔 이름이 있다"와 "미국엔 이름이 없다"가 둘 다 부분적으로 맞는 건, 어느 자료를 말하느냐가 다르기 때문이다.

미국도 지역확률을 버리지 않았다

한 걸음 더 들어가면 흥미로운 사실을 만난다. 미국이 ABS로 다 갈아탔다는 인상과 달리, 가장 정교한 확률 패널은 여전히 지역확률표집의 골격을 안고 있다.

NORC의 AmeriSpeak 패널이 그렇다. 이 패널의 표집틀인 NORC National Frame은 단순한 주소 목록이 아니다. 1차로 대도시권·카운티 규모의 추출단위를 뽑고, 2차로 센서스 트랙·블록그룹에서 정의한 세그먼트를 확률비례로 뽑은 뒤, 그 세그먼트 안의 가구를 USPS DSF로 목록화한다. 그리고 DSF 커버리지가 부족한 세그먼트는 현장 listing으로 보완한다. 2019년 모집에서는 1,514개 세그먼트 가운데 123개를 현장 listing으로 메웠고, 이렇게 8만 가구가량의 농촌 가구를 직접 명부에 더했다. 그 결과 순수 ABS면 92% 수준인 커버리지가 97%까지 올라간다.

접촉도 우편 하나가 아니다. 우편과 전화, 현장 면접원까지 동원하고, 초기 무응답 가구의 일부를 다시 뽑아 면접원이 직접 찾아가는 2단계 설계다. 청년층을 더 뽑기 위해 MSG나 TargetSmart가 "이 가구에 18~24세가 있다"고 표시한 정보를 활용하기도 한다. 앞서 말한 voter file·소비자 데이터 강화가 여기서 실제로 작동하는 것이다.

이 National Frame이 바로 GSS(General Social Survey) 같은 대표적 조사에 쓰여 온 지역확률표본이다. 다단계로 지역을 뽑고, 세그먼트 안에서 가구를 목록화하고, 일부는 현장에서 명부를 만든다. 한국의 조사구 방식과 같은 계보다. NORC는 조사구식 골격을 버린 게 아니라, 세그먼트 안 가구 목록을 현장 listing 대신 DSF로 현대화하고 그것을 재사용 가능한 패널로 만들었을 뿐이다.

그렇다면 한국은

이쯤 되면 "한국은 조사구를 쓰니 대면조사를 할 수밖에 없다"는 익숙한 명제가 흔들린다.

먼저 표집틀이 데이터 수집 모드를 결정하지 않는다. AmeriSpeak가 산 증거다. 조사구식 지역확률 프레임을 쓰면서도 응답은 대부분 웹으로 받는다. 프레임이 조사구냐 주소 목록이냐와, 응답을 대면으로 받느냐 웹으로 받느냐는 별개 문제다. "조사구라서 대면"은 인과를 잘못 잡은 진술이다.

여기에 더 결정적인 사실이 있다. 지금 한국의 조사구는 이미 가구 주소를 갖고 있다. 2015년부터 한국의 인구주택총조사는 등록센서스 방식으로 바뀌었다. 전국 가구를 일일이 방문하지 않고 주민등록부와 건축물대장 같은 행정자료를 연계해 인구·가구·주택을 파악한다. 통계청은 누가 어느 주소에 사는지를 행정자료로 이미 알고 있고, 그 인구주택총조사 결과가 각종 경상조사 표본틀의 기초자료가 된다. 그러니 "조사구는 경계선일 뿐 주소는 조사원이 가야 안다"는 말은 현장 listing 시대의 이야기지 지금 맞는 설명이 아니다.

실무는 더 분명하다. 통계청 승인통계의 경우 신청 기관에 목표 표본의 2배수에 해당하는 조사구를 제공한다. 발송할 주소가 부족하기는커녕 넉넉하다. 미국식 push-to-web을 시도할 재료가 이미 손에 있다는 뜻이다.

그러니 질문은 바뀌어야 한다. 주소가 있는데 왜 아직 방문면접인가.

진짜 장벽은 조사표다

답은 표집틀이 아니다. 조사표다.

한국의 승인통계 조사표는 조사원 면접을 전제로 최적화되어 있다. 자기기입으로 옮기는 순간, 조사원이 보이지 않게 처리하던 일들이 전부 응답자에게 넘어간다. 복잡한 분기를 대신 따라가 주고, 모르는 용어를 설명해 주고, 짧은 답에 한 번 더 캐묻고, 긴 보기 목록을 카드로 제시하던 그 모든 보조가 사라진다. 게다가 면접은 조사원이 응답자를 끝까지 끌고 가지만 자기기입에는 동기를 붙들어 줄 사람이 없다. 설문이 길수록, 특히 응답자 다수가 모바일을 쓰는 환경에서 중도이탈이 급증한다. 미국 ACS가 자기기입용으로 짧고 단순한 양식을 따로 둔 것은 우연이 아니다.

조사표가 가장 큰 장벽이라는 진단에는 역설이 하나 숨어 있다. 이것이 동시에 가장 손댈 수 있는 변수라는 점이다. 표집틀을 행정자료로 새로 짜거나 자료 접근의 법적 근거를 마련하는 일은 통계법 개정과 부처 간 협상을 요구한다. 그러나 조사표를 자기기입용으로 다시 쓰는 일은 통계청 자신의 권한 안에 있다. 입법 없이 내일이라도 착수할 수 있는, 거의 유일한 변수다.

다만 거기에는 청구서가 따라온다. 조사표를 자기기입용으로 다시 쓰면 모드효과로 응답 분포가 바뀐다. 그 순간 과거 시계열과의 비교가 흔들린다. 국가승인통계에서 시계열 단절은 작은 문제가 아니다. 미국도 ACS에 인터넷 응답을 도입할 때 수년간 병행조사로 모드효과를 측정하고 흡수했다. 자기기입용 재설계의 난도는 새 문항을 만드는 데 있는 게 아니라, 그 전환을 하면서 과거와의 비교 가능성을 어떻게 지키느냐에 있다.

다시 그린 결론

처음으로 돌아가자. 나는 미국이 이름과 연락처를 쥐고 있어서 push-to-web을 한다고 믿었다. 실제로는 주소만으로, 생일법으로 한 명을 골라 보내고 있었다. 그리고 한국은 등록센서스 덕분에 이미 그 주소를 갖고 있다. 승인조사라면 2배수 조사구로 충분한 주소를 받는다.

그래서 한국형 MAF를 새로 만들자던 예전의 내 결론은 과녁이 살짝 빗나가 있었다. 문제는 "인프라가 없다"가 아니다. 인프라는 거의 다 있다. 남은 것은 조사표를 자기기입에 맞게 다시 쓰는 일, 그리고 그 과정에서 생기는 모드효과와 시계열 단절을 관리하는 일이다.

표집틀 탓을 멈추고 조사표를 다시 보는 순간, 한국 통계조사의 웹 전환은 먼 제도 개혁의 이야기에서 당장 시작할 수 있는 설계의 이야기로 옮겨온다. 적어도 그 첫 페이지는 오늘 우리가 쥐고 있는 재료만으로도 넘길 수 있다.

층화와 할당은 어떻게 다른가

층화와 할당은 어떻게 다른가

앞 글에서 층화와 집락의 차이를 다뤘다. 그런데 실무에서 더 자주 헷갈리는 짝이 따로 있다. 층화와 할당이다. 두 방식은 보고서 표로 찍어놓으면 거의 똑같이 생겼다. 시도×성별×연령 칸을 만들고 칸마다 인원을 정해서 채운다는 것이 둘 다 똑같다. 그런데 통계적 성격은 완전히 다르다.

외형이 같아서 헷갈린다

층화추출 결과표와 할당추출 결과표를 나란히 놓으면 구분이 안 된다. 둘 다 이런 식이다.

서울 20대 남자 30명

서울 20대 여자 30명

서울 30대 남자 35명

…

표본 구성, 분포, 칸별 인원 모두 비슷하게 보인다. 그래서 "할당이지만 층화처럼 보이는 표"가 한국 여론조사 보고서에 흔하다. 보고서 본문에 "층화추출법을 적용했다"는 문장이 들어가 있어도 실제 동작은 할당인 경우가 많다.

두 방식이 어디서 갈리는지 보려면 표가 아니라 표본을 만드는 과정을 봐야 한다.

층화는 확률추출

층화는 모집단 명부에서 출발한다. 모집단을 시도×성별×연령 같은 기준으로 칸으로 나누고, 각 칸 안에서 단순임의추출이나 계통추출로 표본을 뽑는다. 추출확률이 사전에 정해져 있고, 누가 뽑힐지가 그 확률에 따라 결정된다.

이게 가능하려면 두 가지 조건이 필요하다.

첫째, 모집단 명부(표집틀)가 있어야 한다. 둘째, 그 명부에서 각 사람의 칸 정보(어느 시도, 어느 연령대인지)를 알 수 있어야 한다.

전형적인 예가 통계청 가구조사다. 인구주택총조사 결과로 만든 조사구 명부와 그 안의 가구 정보가 있기 때문에 시도×동읍면으로 층화하고 각 층에서 확률적으로 뽑는 작업이 가능하다. 학생 조사에서 학교명부와 학년·반 정보가 있으면 학교를 층화한 다음 학급·학생을 확률적으로 뽑을 수 있다.

층화의 장점은 표본 추출확률을 알기 때문에 표준오차를 계산할 수 있고, 칸 안이 동질적일수록 분산이 줄어든다는 점이다(deff < 1). 통계적 추론의 정당성이 확보된다.

할당은 비확률추출

할당은 칸별 인원만 정해놓고 그 인원을 채울 때까지 모집하는 방식이다. 누가 들어오는지는 통제되지 않는다. 조사원의 접근 가능성, 응답자의 자발적 응답 의사, 패널의 가입 동기 같은 요인이 표본 구성을 결정한다.

길거리 조사를 떠올리면 이해가 쉽다. "30대 여성 20명만 채우면 끝"이라는 지시를 받은 조사원은 30대 여성처럼 보이는 사람에게 다가가서 응답을 부탁한다. 같은 30대 여성이어도 길거리 시간대, 위치, 조사원의 성향에 따라 누가 표본에 들어갈지가 달라진다. 추출확률은 정의되지 않는다.

온라인 패널 조사도 구조적으로 할당이다. 패널 자체가 자발적 가입자 집단이고, 그 안에서 칸을 채우는 작업은 모집단의 확률표본이 아니다. 패널에 가입한 사람과 안 한 사람의 차이가 이미 표본에 들어가 있다.

할당의 약점은 응답자 자기선택 편의(self-selection bias)가 통제되지 않는다는 점이다. 표준오차도 엄밀하게는 계산할 수 없다. 표본추출확률이 정의되지 않기 때문이다. 실무에서는 단순임의추출 가정으로 표준오차를 보고하지만, 그것이 통계적 정당성을 가진다고 보기는 어렵다.

한국 여론조사에서 둘이 섞이는 이유

한국 정치·사회 여론조사에서 가장 흐릿해지는 곳이 여기다. 보고서에는 "층화추출"이라고 적혀 있지만 실제 작업은 할당에 더 가까운 경우가 많다.

ARS·CATI 조사를 보자. 통신사 가상번호 명부를 받아서 시도×성별×연령으로 층화한 다음 발신한다. 여기까지만 보면 층화처럼 보인다. 그런데 응답률이 3~7% 수준인 환경에서는 사전 추출확률이 사실상 의미를 잃는다. 같은 칸에서 발신된 번호 100건 중 응답한 5명이 누구냐를 결정하는 건 추출 단계의 확률이 아니라 응답자의 자기선택이다. 외형은 층화고 실질은 할당이다.

웹조사도 마찬가지다. 사전 동의 패널이든, 통신사 마케팅 수신동의 SMS 발송이든, 응답자 모집 단계에서 자발성이 강하게 작용한다. 칸별 인원이 다 차면 할당 완료. 이건 명백한 할당이다.

그래서 한국 여론조사 보고서를 읽을 때는 "층화추출"이라는 표현이 두 가지 의미로 쓰인다는 점을 알아야 한다.

명부에서 확률적으로 뽑는 진짜 층화

칸을 미리 정해놓고 응답자가 들어올 때까지 발신·모집하는 할당(외형만 층화)

가구조사처럼 명부 기반 확률추출이 가능한 영역에서는 진짜 층화가 작동한다. 정치 여론조사 영역에서는 사실상 할당이 작동한다.

가중치만 봐서는 구분이 안 된다

층화든 할당이든 가중치를 셀(region × gender × age) 단위로 거는 작업은 똑같이 한다. 셀 안 표본 비율과 모집단 비율의 비로 가중치를 만들고, 이걸 곱해서 분포를 모집단에 맞춘다.

그래서 가중치 적용 방식만 보면 두 방식이 구분되지 않는다. 가중치는 사후 보정 도구일 뿐, 표본추출 자체의 통계적 성격을 바꾸지 못한다. 비확률표본에 가중치를 걸어도 비확률표본이다. 다만 분포만 모집단과 비슷해진다.

이 부분이 자주 오해된다. "셀별 가중치를 적용했으니 추출확률이 보정된 것 아니냐"는 식의 진술은 정확하지 않다. 가중치는 분포를 맞출 뿐, 응답자 자기선택을 무효화하지 않는다.

구분 기준

둘을 구분하려면 한 가지만 보면 된다. 칸 안에서 누가 뽑힐지가 어떻게 결정되는가.

칸 안에서 누구를 뽑을지가 사전 추출확률로 결정되면 → 층화

칸 안에서 누구를 뽑을지가 응답자 자기선택이나 조사원 선택으로 결정되면 → 할당

표본 설계서나 보고서를 읽을 때 이 질문을 던지면 된다. 명부 기반 확률추출이 작동했는가, 아니면 칸 채우기로 작동했는가. 답이 후자라면 그 조사는 표현이 어떻게 되어 있든 할당이다.

층화추출과 할당추출은 외형만 같고 통계적 정당성이 다르다. 한국 여론조사 실무를 분석할 때 이 구분이 잡혀 있어야 보고서 문구와 실제 작업 사이의 간극이 보인다.

층화와 집락은 어떻게 다른가

층화와 집락은 어떻게 다른가

표본조사 실무를 하다 보면 "이건 집락이에요, 층화예요?"라는 질문을 자주 받는다. 두 개념이 헷갈리는 데는 이유가 있다. 둘 다 모집단을 부분집단으로 쪼개는 작업이고, 실제 조사에서는 거의 항상 같이 쓰이기 때문이다. 그런데 역할은 정반대다. 작동 방식이 다르고, 표본 효율에 미치는 영향도 반대 방향이다.

층화는 "모든 칸에서 다 뽑기"

층화(stratification)는 모집단을 나누는 변수다. 전국 성인 1,000명 조사를 한다고 하자. 시도·성별·연령대로 모집단을 칸으로 쪼개고, 각 칸에 표본을 배분한다. 서울 20대 남자 30명, 서울 20대 여자 30명, 서울 30대 남자 35명…. 이런 식이다. 어떤 칸도 빠지지 않는다. 모든 칸에서 정해진 인원을 뽑는다.

같은 칸 안에 들어가는 사람들이 비슷할수록(층 내 동질성↑) 표본의 분산이 줄어든다. 그 결과 단순임의추출보다 더 정확한 추정이 가능하다. 설계효과(deff)로 표현하면 deff < 1, 즉 표본 효율이 올라간다.

공무원 조사 예를 들어보자.

부처별로 인원에 비례해 표본 배분

직급(5급 이상 / 6~7급 / 8~9급)별로 다시 배분

부처×직급 칸마다 정해진 인원을 뽑음

이게 층화다. 칸을 빠뜨리지 않고 모든 칸에서 뽑는다는 것이 중요하다.

집락은 "일부 묶음만 뽑아서 그 안만 조사"

집락(cluster)은 모집단을 묶는 단위다. 가구조사를 생각해보자. 전국 모든 가구의 명부가 있다면 거기서 1,000가구를 임의로 뽑으면 된다. 그런데 그런 명부는 외부 조사기관이 통상 확보할 수 없다. 그래서 조사원이 현장에서 접근할 수 있는 지리적 단위, 곧 조사구를 먼저 뽑는다. 전국 조사구 중 200개를 뽑고, 뽑힌 조사구 각각에서 5가구씩 조사한다. 안 뽑힌 조사구의 가구들은 통째로 빠진다.

이게 집락이다. 묶음 중 일부만 뽑아서 그 안만 들여다본다. 한 조사구 안의 가구들은 같은 동네에 살기 때문에 소득 수준이나 생활양식이 유사한 경향이 있다(집락내 상관, ICC). 응답이 유사할수록 표본의 분산은 커진다. 같은 표본 크기여도 단순임의추출보다 추정치가 덜 정확하다. deff > 1, 즉 표본 효율이 떨어진다.

공무원 조사 예로 옮겨오면 이렇다.

100개 본부 중 20개 본부를 뽑음

뽑힌 20개 본부에서 각각 10명씩 조사

안 뽑힌 80개 본부 사람들은 조사 대상에서 빠짐

이게 집락추출이다. 같은 본부 사람들은 업무·상사·조직문화를 공유하기 때문에 응답이 비슷해질 가능성이 크다.

효율이 반대 방향으로 가는 이유

층화와 집락이 표본 분산에 미치는 영향은 정반대다.

층화는 칸 안이 동질적일수록 좋다. 칸 안이 비슷하면 적은 표본으로도 그 칸을 잘 대표할 수 있기 때문이다. 그래서 deff < 1.

집락은 묶음 안이 이질적일수록 좋다. 묶음 안이 다양하면 그 묶음만으로도 모집단의 다양성이 반영되기 때문이다. 그런데 현실의 집락은 대부분 동질적이다. 같은 조사구의 가구들은 비슷한 동네 가구들이고, 같은 본부 직원들은 비슷한 일을 한다. 그래서 deff > 1.

층화는 표본 분산을 줄이려고 쓰는 장치고, 집락은 비용 문제(현장 접근, 표집틀 확보) 때문에 분산 손해를 감수하고 쓰는 장치다. 목적 자체가 다르다.

같은 변수가 다르게 쓰일 수 있다

부처라는 변수를 보자. 부처를 어떻게 활용하느냐에 따라 역할이 갈린다.

모든 부처에서 인원에 맞춰 다 뽑으면: 층화 변수

일부 부처만 뽑아서 그 안에서 조사하면: 집락 단위

조사구도 마찬가지다. 통상 조사구는 집락으로 쓰이지만, 만약 모든 조사구에서 한두 가구씩 뽑는 설계라면(현실적으로는 거의 하지 않지만) 층화에 가까운 성격을 갖게 된다.

같은 변수도 "모든 칸에서 다 뽑느냐"와 "일부 묶음만 뽑느냐"에 따라 층화로도, 집락으로도 작동할 수 있다.

실무에서는 같이 쓴다

한국 가구조사 설계서를 보면 "층화 2단계 집락추출"이라는 표현이 흔히 등장한다. 한 설계 안에서 둘 다 쓰인다는 뜻이다.

층화: 시도 × 동읍면 구분으로 모집단을 칸으로 나눔

1차 추출(집락): 각 층 안에서 조사구를 PPS로 뽑음

2차 추출: 뽑힌 조사구 안에서 가구를 계통추출

층화로 표본 대표성을 확보하고, 집락으로 현장 비용을 절감한다. 두 장치는 경쟁 관계가 아니라 보완 관계다.

자주 하는 오해

"층화는 눈에 안 보이고 집락은 지리적이라 눈에 보인다"는 식의 구분은 정확하지 않다. 층화에 쓰이는 변수도 모두 관찰 가능한 정보다. 시도, 성별, 연령, 직급은 다 명부에 있는 값이다.

더 안전한 구분은 이거다.

층화: 모집단을 칸으로 나누고, 모든 칸에서 다 뽑는다

집락: 모집단을 묶음으로 만들고, 일부 묶음만 뽑아서 그 안만 조사한다

표본설계 문서를 읽을 때 "층화 변수"라고 적혀 있으면 칸을 만든 기준이고, "추출단위"나 "집락"이라고 적혀 있으면 묶어서 일부만 뽑은 단위다. 이 구분이 잡혀 있으면 어떤 조사 설계서를 봐도 구조가 보인다.

표집오차한계와 총오차한계 사이의 거리

 표집오차한계와 총오차한계 사이의 거리

여론조사 보고서 끝에는 늘 같은 문장이 붙는다. "표본오차는 95% 신뢰수준에서 ±3.1%p". n=1000, 단순임의표집을 가정했을 때 1.96·√[0.5·0.5/1000]을 계산해 나오는 수치다. 이 숫자가 조사 정확도에 대한 모든 정보를 담고 있는 것처럼 읽히지만, 실제로 ±3.1%p가 무엇을 의미하는지 다시 생각해보면 이야기가 달라진다.

표집오차는 모집단에서 표본을 추출하는 과정에서 발생하는 변동만 반영한다. 같은 설계로 표본을 다시 뽑으면 다른 응답자가 선택되고 그래서 추정치가 달라지는 부분이다. 표집오차한계(margin of sampling error, MOSE)는 이 변동의 95% 구간을 표시한 값이다. 응답자가 누구든 정확하게 응답한다는 가정, 응답하지 않은 사람이 응답한 사람과 같은 의견을 갖는다는 가정, 모집단 전체가 표집틀에 포함된다는 가정이 모두 성립해야 MOSE가 추정치의 불확실성을 온전히 표현한다.

총조사오차라는 틀

총조사오차(total survey error, TSE)는 이 가정들이 어디서 깨지는지 정리한 틀이다. Groves와 Lyberg의 분류를 따르면 오차는 두 부분으로 갈라진다. 표상(representation) 쪽에는 포함오차(특정 인구집단이 표집틀에서 빠지는 문제), 표집오차, 무응답오차(특정 집단이 더 잘 또는 덜 응답하는 문제), 보정오차(가중으로 보정한 뒤에도 남는 편향)가 있다. 측정(measurement) 쪽에는 측정오차(질문이 잘못 이해되거나 사회적 바람직성에 의해 응답이 왜곡되는 문제)와 처리오차(코딩이나 자료 입력 단계 오류)가 있다. 표집오차는 이 여섯 성분 중 하나일 뿐이다.

응답률이 95%를 넘던 Deming(1944)의 시대에는 무응답오차가 작아 표집오차 중심 보고가 큰 문제가 아니었다. 2025년 현재는 사정이 다르다. 미국 일부 확률조사 응답률은 1% 미만이고, 인터넷 광고로 모집되는 옵트인 조사는 응답률 개념 자체가 성립하지 않는 편의표본이다. Mercer et al.(2018)이 대규모 옵트인 조사 3건을 검토한 결과, 가장 효과적인 무응답 보정도 편향의 약 30%만 제거할 수 있었다. 무응답 보정 이후 70%의 편향이 점추정치에 남는다는 의미다. MOSE는 이 편향에 대해 아무것도 알려주지 않는다.

실증: 명목 95%가 실제로 얼마였나

Lohr, Mercer, Kennedy, Brick(2026)의 최근 JSSAM 논문은 이 격차를 경험적으로 측정한다. Shirani-Mehr et al.(2018)이 정리한 1998–2014년 미국 주 단위 선거조사 4,221건을 보면, 표집분산으로 계산한 95% 신뢰구간이 실제 선거 결과를 포함한 비율은 77.6%였다. 주지사 선거에서는 73.3%, 상원의원 선거에서는 71.7%까지 떨어졌다. 명목상 95%였던 구간이 실제로는 74% 수준의 포함률을 가졌다는 뜻이다.

비선거 조사에서는 격차가 더 컸다. Pew Research Center가 동일 질문을 확률표본 3건과 비확률 옵트인 표본 3건에 동시에 던지고 행정자료 벤치마크와 비교한 자료에서, MOSE 기반 95% 신뢰구간이 벤치마크를 포함한 비율은 25%에 불과했다. 확률표본 37%, 비확률표본 13%. 95% 포함률을 회복하려면 비확률표본의 표준오차에 약 10배를 곱해야 했고, 푸드스탬프 수급 같은 정부 지원 관련 문항에서는 14.5배까지 필요했다.

흔히 인용되는 "표준오차에 2를 곱하라"는 Rothschild와 Goel(2016)의 권고는 선거조사 자료에서는 대체로 작동했지만 비선거 조사에서는 한참 부족했다. Pew 자료에서 표준오차에 2를 곱한 구간이 벤치마크를 포함한 비율은 비확률표본 25.7%, 정부 지원 수급 항목에서는 6.7%였다. 이 권고는 특정 시기 특정 주제 자료에서 도출된 것이며, 다른 주제로 그대로 옮길 수 있는 보편 규칙이 아니다.

한국 조사 환경의 함의

한국 조사 환경에서는 이 격차가 더 클 가능성이 있다. 통신사 가상번호 ARS 조사의 실제 응답률, 마케팅 수신 동의 고객 대상 SMS 기반 모바일웹 조사의 자기선택 편향, 1주일 단위로 압축되는 선거조사 일정, 클라이언트가 요구하는 결과 방향 같은 한국 특이 오차원들이 모두 비표집오차에 누적된다. Frame Procurement Error(틀조달오차), Client Intervention Error(클라이언트 개입오차), Timeline Compression Error(일정 압축오차) 같은 한국형 TSE 확장 항목들도 MOSE 한 줄로는 전혀 포착되지 않는다. 그럼에도 한국 조사 보고서에는 표집오차한계 한 줄만 적힌다.

무엇을 할 것인가

대안은 두 갈래다. 하나는 표상이다. Lohr et al.이 제안하는 총오차한계(margin of total error, MOTE)는 벤치마크 추정치가 있는 과거 조사 자료에 모형을 적합해 표준오차에 어느 정도의 비표집오차 성분을 더해야 명목 포함률을 회복하는지 추정한다. 조사 유형, 표본 유형, 질문 주제별로 보정값을 데이터베이스화하면 미래 조사에서도 유사 조건에 맞는 MOTE를 보고할 수 있다. 다른 하나는 분해다. TSE 각 성분에 대한 별도 진단치를 보고하는 방식이다. 응답률뿐 아니라 무응답 보정 전후의 추정치 차이, 가중 변수와 결과 변수의 상관, 측정 실험을 통한 문항 효과 추정치 등을 함께 제시해 추정치의 신뢰도를 여러 층위에서 표시한다.

표집오차한계가 부정확하다는 말이 아니다. MOSE는 가정 안에서 정확히 계산된 값이다. 다만 그 가정이 더 이상 성립하지 않는 시대에 MOSE만 보고하는 관행은 조사 추정치의 정밀도를 실제보다 부풀려 전달한다. 보고된 ±3.1%p가 실제로는 ±6%p 또는 ±10%p에 해당한다는 사실을 사용자에게 알리지 않은 채 조사 결과를 유통하는 것은, 결국 조사 빗나감이 발생할 때마다 업계 전체에 대한 신뢰 손실로 돌아온다.

표집오차는 총조사오차의 한 성분이다. 보고도 거기에 맞추어 가야 한다.

후보지지도 재계산, 다섯 갈래

후보지지도 재계산, 다섯 갈래

한국 공표 선거여론조사는 후보지지율을 거의 원자료 그대로 발표한다. 모름·없다 응답자도 분모에 그대로 두고 백분율을 산출. 미국이나 유럽 조사에서 흔한 "지지후보 응답자 기준" 재백분율조차 한국 공표 본표에는 잘 등장하지 않는다. 여심위 규정이 무응답 사후처리에 대해 명확한 허용 기준을 제시하지 않는 점, 임의 배분이나 모델 추정으로 수치를 조정하면 조작 시비가 붙을 위험이 있어 안전하게 원자료를 내보내는 쪽으로 굳어진 점, 그리고 단순 백분율 공표가 갤럽·한국리서치·리얼미터 시기부터 업계 관행으로 자리잡은 점이 함께 작용한 결과다.

이 관행에는 방법론적 정당성도 있다. 한국 조사업계가 오랫동안 견지해온 입장은 여론조사가 투표 행동을 예측하는 도구가 아니라 특정 시점의 여론 분포를 측정하는 도구라는 것이다. 모름·없다 응답자도 그 시점의 여론을 구성하는 일부이니 분모에 두는 것이 측정 대상에 충실한 처리. 재계산은 측정값에 분석가의 가정을 얹는 작업이고, 여론을 있는 그대로 보여주는 본래 목적에서 한 발 멀어지는 일이다. 적중도 시비에 대해 조사회사들이 "여론과 투표는 다르다"고 항변해온 것도 이 입장의 연장선이고, AAPOR이나 WAPOR 차원에서도 public opinion과 vote intention, voting behavior는 별개 개념으로 다뤄진다.

다만 이 입장이 선거여론조사 영역에서 그대로 통용되기는 어렵다. 선거여론조사라는 명칭 자체가 선거, 그러니까 투표를 대상으로 한다는 뜻이고, "다음 대선에서 누구를 지지하시겠습니까"라는 질문은 응답자에게 시점 여론을 묻는 게 아니라 표심을 묻는 것으로 읽힌다. 응답자도 자기 표심을 답하고 있다고 인식하지 시점 여론의 한 점을 답하고 있다고 생각하지 않는다. 그렇게 모인 응답의 합은 사실상 표심 분포 추정치로 작동한다.

조사회사들이 평소 적중도를 마케팅 자산으로 활용해온 점도 같이 봐야 한다. 특정 선거를 정확히 맞췄다는 사실을 회사 신뢰도의 근거로 내세우면서, 결과가 빗나갔을 때만 "여론과 투표는 다르다"고 항변하는 것은 비대칭이다. 미국이나 유럽 주요 조사기관(Gallup, NYT/Siena, Pew, AAPOR election polling task force)이 적중도 평가를 정면으로 받고 자체 검증 보고서를 발간하는 흐름과도 거리가 있다. 시점 효과나 캠페인 충격으로 설명되는 영역이 분명 있지만, 그것을 적중도 시비 전반에 대한 방패로 일반화하면 정확성 책임에서 빠져나가려는 회피 논리로 기능하기 쉽다.

그래서 비공표 영역(캠프 분석, 학술 검증, 적중도 사후 평가, 컨설팅 보고서)뿐 아니라 공표 영역에서도 표심 추정 책임을 어느 정도 받아들이는 처리가 검토되어야 한다. 실무에서 쓰이거나 거론되는 재계산 방식은 다섯 갈래로 정리된다.

1. 단순 제외 후 재백분율

가장 기본적인 분석 처리. 모름·없다·무응답을 분모에서 빼고 후보 응답자만으로 100%를 다시 산출한다. 보고서에서 "유효응답 기준" 또는 "지지후보 응답자 기준"으로 각주 처리.

장점은 단순함과 투명함이다. 응답값만 가지고 처리하니 추가 가정이 들어가지 않고, 표기와 검증이 쉽다. 단점은 부동층의 정치성향 정보를 통째로 버린다는 것. 모름·없다 응답자가 한쪽 진영에 쏠려 있을 경우 재백분율 결과가 실제 표심과 어긋날 수 있다.

2. 적극투표층 한정 후 재백분율

"반드시 투표하겠다"고 답한 적극투표 의향층만 베이스로 잡고, 그 안에서 모름·없다를 다시 빼고 백분율을 계산한다. 미국식 likely voter 모델의 단순화 버전이고, 한국에서는 보통 투표의향 1단계(반드시) 또는 1·2단계(반드시+가능하면)를 떼어 쓰는 형태로 운용된다.

투표 가능성이 낮은 응답자를 미리 제외하니 실제 투표 결과와의 정합성이 1번보다 올라간다. 다만 적극투표층 자체가 정파성에 따라 편향될 수 있어, 적극·소극 구분 기준이 적절한지는 따로 검증해야 한다.

3. 정당지지도 또는 과거 투표 기반 비례배분

모름·없다 응답자를 지지정당, 이전 선거 투표 후보, 이념성향 같은 사전 정보에 따라 비율로 배분하는 방식이다. 모름 응답자 중 민주당 지지자는 민주당 후보 지지층 분포에, 국민의힘 지지자는 국민의힘 후보 지지층 분포에 비례해 분배.

미국 NYT/Siena, AP-NORC가 부분적으로 쓰고, 한국에서도 캠프 내부 추정에서는 종종 활용된다. 추가 문항 부담이 거의 없다는 게 강점이다. 정당지지도는 정치조사에서 거의 항상 같이 묻기 때문에 사후처리만으로 적용 가능하다.

운용 방식은 두 단계로 잡는 게 무난하다. 지지정당이 있는 응답자에 한해 배분하고, 정당 응답도 모름인 사람은 분모에서 그대로 제외. 셀이 너무 잘게 쪼개지면 셀당 N이 작아져 추정이 불안정해지니 정당지지 단변량으로 충분하다.

4. 강제선택 후속질문(leaners) 합산

설문 단계에서 한 번 더 묻는 방식이다. 1차에서 모름·없다를 고른 사람에게 "굳이 한 명 고른다면 누구를 지지하시겠습니까" 식의 후속 질문을 던지고, leaner 응답을 본 응답에 합산해 재백분율을 산출한다. AP-NORC, Pew 등이 표준으로 쓰는 형태.

설계 단계에서 분기 문항 한 줄만 추가하면 되고, 모델 추정이 아니라 직접 응답이라 정당성 시비가 적다. 단점은 문항수가 한 줄 늘어난다는 점. 모바일 웹서베이처럼 응답 부담이 응답률에 직결되는 환경에서는 비용 부담이 따른다.

웹서베이 UI 차원에서 변형도 가능하다. 모름·없다 선택 시 부드러운 경고창(soft prompt)을 띄우고 "조금이라도 마음이 가는 후보가 있다면 선택해 주세요. 정말 없으시면 그대로 진행하셔도 됩니다" 정도의 문구로 한 번만 환기. 진행은 허용하되 응답을 바꾼 사람은 leaner 플래그로 따로 기록한다. 문항수를 늘리지 않고 후속질문 효과를 UI 단에서 흡수하는 방법이다.

이때 강한 경고창(forced response)으로 응답을 강제하는 방식은 권하지 않는다. 무응답률은 낮아지지만 짜증 응답이 늘고 중도이탈도 증가해 응답품질이 오히려 떨어진다는 게 웹서베이 실증연구의 일관된 결과다.

5. 모델 기반 추정(다중대체 등)

인구통계, 정당지지, 이념성향, 정권평가, 투표의향 같은 변수를 독립변수로 두고 모름·없다 응답자의 후보 선택을 회귀 또는 다중대체(multiple imputation)로 추정해 채워 넣은 뒤 재계산하는 방식이다. 학술 분석이나 정밀 시뮬레이션에서 주로 사용된다.

가장 정교하지만 추정 모형의 설계 선택에 따라 결과가 달라질 수 있고, 응답자가 직접 답한 값이 아니라는 점이 신뢰성 측면의 약점이다. 한국 공표 본표에 반영하기는 사실상 불가능에 가깝고, 보조 분석이나 사후 시뮬레이션 트랙으로 분리해 운용된다.

어느 방법을 선택할 것인가

한국 공표 선거여론조사의 표준은 모름·없다를 분모에 둔 채 그대로 공개하는 원자료 방식이다. 여심위 환경, 업계 관행, 여론과 투표를 구분하는 방법론적 입장이 함께 작용한 결과. 본표 자체를 갑자기 손대는 건 권하지 않지만, 적어도 부속 분석 트랙은 별도로 운용해 표심 추정에 가까운 처리도 같이 보여주는 것이 정확성 시비에 대한 정공법이다.

분석 트랙에서는 1번이 가장 무난하다. 캠프 보고나 내부 검토에서 부동층을 분리하고 후보 간 격차를 또렷이 보고 싶을 때 적합. 부동층 처리를 한 단계 더 손보고 싶다면 3번을 추가로 적용. 추가 문항 없이 가능하고, 정당지지 정보로 부동층의 일부를 살릴 수 있다.

설문 설계 단계에서 손쓸 수 있다면 4번의 변형, soft prompt 방식이 균형 있다. 문항수를 늘리지 않으면서 leaner 정보를 데이터에 남기고, 강제 응답이 아니라 응답품질 저하나 중도이탈 위험도 낮다.

5번은 별도 분석 트랙으로 분리해 부동층 시나리오 분석이나 적중도 사후 검증에 활용하는 정도가 적절하다.

방법론적으로 한 가지 덧붙이자면, 어떤 방식을 쓰든 보고서에는 처리 방식을 명확히 기재해야 한다. 공표 본표는 여론 측정의 원자료, 부속 분석은 표심 예측을 위한 재계산이라는 두 트랙을 명시적으로 분리해서 보여주는 것이 결과 해석의 혼선을 막는 방법이다. 그리고 이 분리가 표심 예측 책임을 회피하는 도구로 쓰이지 않으려면, 적중도 사후 평가는 어떤 식으로든 정면으로 받는 자세가 같이 가야 한다.

림가중치를 막는 0.7~1.5 캡, 추가 보정을 막는 이중 공표

 

림가중치를 막는 0.7~1.5 캡, 추가 보정을 막는 이중 공표

2025년 12월 18일 개정되어 2026년 1월 1일부터 시행되는 선거여론조사기준은 가중치에 관해 두 개의 조항을 둔다. 제5조의 가중값 배율 한계(성·연령·지역 각각 0.7~1.5)와 제14조의 가중치 산출·적용 방법 등록 의무다. 두 조항 모두 객관성과 신뢰성을 확보하려는 의도로 설계되었지만, 현재 형태로는 한국 폴링이 국제 표준 방법론을 도입하지 못하게 만드는 제도적 장벽으로 작동한다.

0.7~1.5 캡과 림가중치의 충돌

한국 실무에서 0.7~1.5 한계는 보통 성×연령×지역 셀 단위 가중치에 적용된다. 림가중치(raking, IPF)는 각 주변분포(margin)를 모집단에 맞추기 위해 셀 가중치가 자유롭게 변동하는 것을 전제하는 알고리즘이다. 7~10개 차원에서 각각 1.2배, 0.85배 같은 온건한 조정만 곱해져도 셀 가중치가 0.5나 2.0을 쉽게 넘어간다. 셀 단위 캡과 다차원 림가중치는 수학적으로 양립이 어렵다.

Pew Research Center의 American Trends Panel은 보통 성, 연령, 인종/에스니시티, 학력, 지역(census division), 도시/비도시, 정당등록, 자원봉사 참여, 시민참여, 인터넷 이용빈도 등 8~11개 변수에서 raking을 한다. 트림은 보통 0.3~3 또는 0.25~4 수준에서 잡고, DEFF(design effect from weighting)를 사후에 공개한다. 한국 기준의 0.7~1.5는 Pew 트림 폭의 약 1/3~1/4 수준이고, 가중 변수 수도 3개로 못 박혀 있다.

이 캡은 분산과 편의 사이에서 분산 쪽으로 강하게 기운 선택이다. 명목상 이유는 극단 가중치로 인한 분산 폭증 방지와 가중치 조작을 통한 결과 왜곡 방지다. 그 대가로 2016년 이후 미국·영국·호주 폴링이 학습한 내용, 특히 학력 가중치 누락이 체계적 편의를 만든다는 발견을 한국 제도가 흡수할 수 있는 구조가 아니게 됐다. 한국에서도 학력별 지지 패턴 차이가 작지 않은데, 학력 가중치를 추가하려면 캡을 위반하거나 기존 변수 중 하나를 빼야 한다.

제5조 제2항이 마련한 우회 통로(두 조사 결과를 합쳐서 분석하면 캡 적용 안 함)도 있지만, 단일 표본에서의 림가중치 문제를 푸는 도구가 아니다. 합산이 가능한 상황에서만 작동하고, 분석 경위와 방법을 별도 공개해야 해서 실무 부담도 크다.

이중 공표 의무가 추가 보정을 페널티화한다

제14조 제3항과 제18조 제2항의 조합이 두 번째 문제다. 인구학 가중치(성·연령·지역) 외에 과거 투표 보정, 후보자 득표율 보정, 응답유보층 분석 등 추가 보정을 수행한 경우 양쪽 결과를 모두 등록·공표해야 한다.

이 규정은 인구학 가중을 "객관적 기준"으로, 그 외 보정을 "추가 해석"으로 보는 위계를 전제한다. 통계적으로는 성립하지 않는 전제다. 모든 가중치는 모델이다. 성·연령·지역 가중도 "응답자를 모집단 분포에 맞추면 추정 정확도가 올라간다"는 가정에 기댄 모델이고, 학력 가중이나 과거 투표 보정과 통계적 지위가 동일하다. Pew, ANES, BES, YouGov 어디도 "원시 인구학 가중 결과"와 "최종 모델 결과"를 병렬로 공표하지 않는다. 가장 정확하다고 판단하는 단일 추정치를 발표하고, 방법론 디테일은 별도 문서에서 투명하게 공개한다.

규정은 표면상 추가 보정을 허용하는 것처럼 보이지만, 실제로는 추가 보정을 수행한 조사기관에 페널티를 부과한다. 같은 조사에서 후보 A 38% vs B 35%(원시)와 A 36% vs B 38%(보정)이 동시에 발표되면, 매체는 자기 프레임에 맞는 쪽을 골라 헤드라인을 잡는다. 일반 독자는 두 추정치의 방법론적 차이를 분별할 도구가 없다. "같은 조사인데 결과가 다르다, 조사 자체를 못 믿겠다"는 결론으로 가게 된다. 합리적인 조사기관의 균형점은 "추가 보정을 안 하는 게 평판상 안전하다"가 되고, 정확도 향상 노력이 평판 리스크가 되는 구조가 만들어진다.

한국적 함의는 더 크다. 응답유보층 분석과 과거 투표 보정은 한국 ARS·웹 환경에서 추정 정확도에 가장 크게 기여하는 보정 방법이다. 유보율이 20~30%에 달하고 정파별 응답 의향에 체계적 차이가 있는 환경에서, 이 두 보정 없이 발표하는 숫자는 사실상 "원시 응답에 인구학 보정만 입힌 값"이다. 그런데 정확히 이 두 방법이 이중 공표 의무의 대상으로 지정되어 있다. 미국식 likely-voter 모델링이나 영국식 turnout adjustment가 한국에서 자리 잡지 못한 가장 큰 제도적 장벽이 여기에 있다.

TSE 분류에 들어가지 않는 한국 특유의 오차원

이 두 조항이 만들어내는 효과는 Total Survey Error 프레임의 표준 분류에 들어가지 않는다. 표본 추출 오차, 미응답 오차, 측정 오차 같은 표준 분류 외에, 규제로 인해 조사기관이 더 정확한 방법론을 채택하지 못하고 덜 정확한 방법론을 선택하게 되는 오차가 추가로 발생한다. Regulatory-Induced Methodology Distortion이라 부를 만하다.

이 오차원은 미국·유럽 TSE 문헌에 등장하지 않는다. 그 나라들에서는 가중치 방법론이 학회와 조사기관 자율로 발전하기 때문이다. 한국에서는 심의위 고시가 가중치 자유도를 직접 제한하기 때문에, 제도 설계 자체가 추정 정확도의 상한을 결정한다. 한국 표본추출틀 문제(통계청이 표본 조사구 정보를 민간 조사기관에 제공하지 않는 구조)와 함께, 한국 폴링의 정확도 한계를 만드는 두 개의 제도적 요인이다.

제도 설계 대안

캡 조항부터 보면, 셀 단위 0.7~1.5 캡은 두 단계로 분리하는 게 합리적이다. 주변분포 단위 캡(예: 성·연령·지역 각 주변분포에서 조정 비율 0.7~1.5)을 두고, 셀 단위는 트림 한계만 명시(예: 0.3~3)하면서, DEFF를 등록 자료에 의무 공개하도록 한다. 이 구조라면 림가중치도 적용 가능하고, 조작 방지·분산 통제 목표도 유지할 수 있다. AAPOR Best Practices의 투명성 원칙과도 부합한다.

이중 공표 의무는 등록·공개 단계와 공표 단계를 분리하는 게 자연스럽다. 모든 가중·보정 방법은 심의위 홈페이지에 등록·공개하되, 조사기관이 단일 "주 추정치(primary estimate)"를 지정하고, 보조 추정치는 등록 자료에 포함되지만 공표 의무 대상에서는 빼는 구조다. 투명성은 등록·공개 단계에서 확보하고, 공표 단계에서는 의사결정자에게 단일 숫자가 전달된다. 지금 규정은 투명성과 공표 의무를 같은 것으로 취급하고 있는데, 이 둘은 별개의 규제 도구로 다뤄야 한다.

지금 형태로 시행되는 가중치 규정은 1990~2000년대 폴링 방법론을 한국에 고정시킨다. 그 기간 동안 국제 폴링은 다차원 raking, 학력 가중, propensity 보정, likely-voter 모델링 등을 표준으로 흡수했다. 한국 폴링이 그 발전을 따라가지 못하는 첫 번째 이유가 시장이나 기술 부족이 아니라 제도라면, KORA, 한국조사연구학회, WAPOR Asia 채널에서 의제로 다뤄질 만하다. 조사기관이 신뢰성 있는 추정치를 만들 자유가 있어야 신뢰성 있는 결과를 공표할 수 있다. 지금 규정은 자유를 제한하면서 신뢰성을 요구한다.