층화와 할당은 어떻게 다른가

층화와 할당은 어떻게 다른가

앞 글에서 층화와 집락의 차이를 다뤘다. 그런데 실무에서 더 자주 헷갈리는 짝이 따로 있다. 층화와 할당이다. 두 방식은 보고서 표로 찍어놓으면 거의 똑같이 생겼다. 시도×성별×연령 칸을 만들고 칸마다 인원을 정해서 채운다는 것이 둘 다 똑같다. 그런데 통계적 성격은 완전히 다르다.

외형이 같아서 헷갈린다

층화추출 결과표와 할당추출 결과표를 나란히 놓으면 구분이 안 된다. 둘 다 이런 식이다.

서울 20대 남자 30명

서울 20대 여자 30명

서울 30대 남자 35명

…

표본 구성, 분포, 칸별 인원 모두 비슷하게 보인다. 그래서 "할당이지만 층화처럼 보이는 표"가 한국 여론조사 보고서에 흔하다. 보고서 본문에 "층화추출법을 적용했다"는 문장이 들어가 있어도 실제 동작은 할당인 경우가 많다.

두 방식이 어디서 갈리는지 보려면 표가 아니라 표본을 만드는 과정을 봐야 한다.

층화는 확률추출

층화는 모집단 명부에서 출발한다. 모집단을 시도×성별×연령 같은 기준으로 칸으로 나누고, 각 칸 안에서 단순임의추출이나 계통추출로 표본을 뽑는다. 추출확률이 사전에 정해져 있고, 누가 뽑힐지가 그 확률에 따라 결정된다.

이게 가능하려면 두 가지 조건이 필요하다.

첫째, 모집단 명부(표집틀)가 있어야 한다. 둘째, 그 명부에서 각 사람의 칸 정보(어느 시도, 어느 연령대인지)를 알 수 있어야 한다.

전형적인 예가 통계청 가구조사다. 인구주택총조사 결과로 만든 조사구 명부와 그 안의 가구 정보가 있기 때문에 시도×동읍면으로 층화하고 각 층에서 확률적으로 뽑는 작업이 가능하다. 학생 조사에서 학교명부와 학년·반 정보가 있으면 학교를 층화한 다음 학급·학생을 확률적으로 뽑을 수 있다.

층화의 장점은 표본 추출확률을 알기 때문에 표준오차를 계산할 수 있고, 칸 안이 동질적일수록 분산이 줄어든다는 점이다(deff < 1). 통계적 추론의 정당성이 확보된다.

할당은 비확률추출

할당은 칸별 인원만 정해놓고 그 인원을 채울 때까지 모집하는 방식이다. 누가 들어오는지는 통제되지 않는다. 조사원의 접근 가능성, 응답자의 자발적 응답 의사, 패널의 가입 동기 같은 요인이 표본 구성을 결정한다.

길거리 조사를 떠올리면 이해가 쉽다. "30대 여성 20명만 채우면 끝"이라는 지시를 받은 조사원은 30대 여성처럼 보이는 사람에게 다가가서 응답을 부탁한다. 같은 30대 여성이어도 길거리 시간대, 위치, 조사원의 성향에 따라 누가 표본에 들어갈지가 달라진다. 추출확률은 정의되지 않는다.

온라인 패널 조사도 구조적으로 할당이다. 패널 자체가 자발적 가입자 집단이고, 그 안에서 칸을 채우는 작업은 모집단의 확률표본이 아니다. 패널에 가입한 사람과 안 한 사람의 차이가 이미 표본에 들어가 있다.

할당의 약점은 응답자 자기선택 편의(self-selection bias)가 통제되지 않는다는 점이다. 표준오차도 엄밀하게는 계산할 수 없다. 표본추출확률이 정의되지 않기 때문이다. 실무에서는 단순임의추출 가정으로 표준오차를 보고하지만, 그것이 통계적 정당성을 가진다고 보기는 어렵다.

한국 여론조사에서 둘이 섞이는 이유

한국 정치·사회 여론조사에서 가장 흐릿해지는 곳이 여기다. 보고서에는 "층화추출"이라고 적혀 있지만 실제 작업은 할당에 더 가까운 경우가 많다.

ARS·CATI 조사를 보자. 통신사 가상번호 명부를 받아서 시도×성별×연령으로 층화한 다음 발신한다. 여기까지만 보면 층화처럼 보인다. 그런데 응답률이 3~7% 수준인 환경에서는 사전 추출확률이 사실상 의미를 잃는다. 같은 칸에서 발신된 번호 100건 중 응답한 5명이 누구냐를 결정하는 건 추출 단계의 확률이 아니라 응답자의 자기선택이다. 외형은 층화고 실질은 할당이다.

웹조사도 마찬가지다. 사전 동의 패널이든, 통신사 마케팅 수신동의 SMS 발송이든, 응답자 모집 단계에서 자발성이 강하게 작용한다. 칸별 인원이 다 차면 할당 완료. 이건 명백한 할당이다.

그래서 한국 여론조사 보고서를 읽을 때는 "층화추출"이라는 표현이 두 가지 의미로 쓰인다는 점을 알아야 한다.

명부에서 확률적으로 뽑는 진짜 층화

칸을 미리 정해놓고 응답자가 들어올 때까지 발신·모집하는 할당(외형만 층화)

가구조사처럼 명부 기반 확률추출이 가능한 영역에서는 진짜 층화가 작동한다. 정치 여론조사 영역에서는 사실상 할당이 작동한다.

가중치만 봐서는 구분이 안 된다

층화든 할당이든 가중치를 셀(region × gender × age) 단위로 거는 작업은 똑같이 한다. 셀 안 표본 비율과 모집단 비율의 비로 가중치를 만들고, 이걸 곱해서 분포를 모집단에 맞춘다.

그래서 가중치 적용 방식만 보면 두 방식이 구분되지 않는다. 가중치는 사후 보정 도구일 뿐, 표본추출 자체의 통계적 성격을 바꾸지 못한다. 비확률표본에 가중치를 걸어도 비확률표본이다. 다만 분포만 모집단과 비슷해진다.

이 부분이 자주 오해된다. "셀별 가중치를 적용했으니 추출확률이 보정된 것 아니냐"는 식의 진술은 정확하지 않다. 가중치는 분포를 맞출 뿐, 응답자 자기선택을 무효화하지 않는다.

구분 기준

둘을 구분하려면 한 가지만 보면 된다. 칸 안에서 누가 뽑힐지가 어떻게 결정되는가.

칸 안에서 누구를 뽑을지가 사전 추출확률로 결정되면 → 층화

칸 안에서 누구를 뽑을지가 응답자 자기선택이나 조사원 선택으로 결정되면 → 할당

표본 설계서나 보고서를 읽을 때 이 질문을 던지면 된다. 명부 기반 확률추출이 작동했는가, 아니면 칸 채우기로 작동했는가. 답이 후자라면 그 조사는 표현이 어떻게 되어 있든 할당이다.

층화추출과 할당추출은 외형만 같고 통계적 정당성이 다르다. 한국 여론조사 실무를 분석할 때 이 구분이 잡혀 있어야 보고서 문구와 실제 작업 사이의 간극이 보인다.

층화와 집락은 어떻게 다른가

층화와 집락은 어떻게 다른가

표본조사 실무를 하다 보면 "이건 집락이에요, 층화예요?"라는 질문을 자주 받는다. 두 개념이 헷갈리는 데는 이유가 있다. 둘 다 모집단을 부분집단으로 쪼개는 작업이고, 실제 조사에서는 거의 항상 같이 쓰이기 때문이다. 그런데 역할은 정반대다. 작동 방식이 다르고, 표본 효율에 미치는 영향도 반대 방향이다.

층화는 "모든 칸에서 다 뽑기"

층화(stratification)는 모집단을 나누는 변수다. 전국 성인 1,000명 조사를 한다고 하자. 시도·성별·연령대로 모집단을 칸으로 쪼개고, 각 칸에 표본을 배분한다. 서울 20대 남자 30명, 서울 20대 여자 30명, 서울 30대 남자 35명…. 이런 식이다. 어떤 칸도 빠지지 않는다. 모든 칸에서 정해진 인원을 뽑는다.

같은 칸 안에 들어가는 사람들이 비슷할수록(층 내 동질성↑) 표본의 분산이 줄어든다. 그 결과 단순임의추출보다 더 정확한 추정이 가능하다. 설계효과(deff)로 표현하면 deff < 1, 즉 표본 효율이 올라간다.

공무원 조사 예를 들어보자.

부처별로 인원에 비례해 표본 배분

직급(5급 이상 / 6~7급 / 8~9급)별로 다시 배분

부처×직급 칸마다 정해진 인원을 뽑음

이게 층화다. 칸을 빠뜨리지 않고 모든 칸에서 뽑는다는 것이 중요하다.

집락은 "일부 묶음만 뽑아서 그 안만 조사"

집락(cluster)은 모집단을 묶는 단위다. 가구조사를 생각해보자. 전국 모든 가구의 명부가 있다면 거기서 1,000가구를 임의로 뽑으면 된다. 그런데 그런 명부는 외부 조사기관이 통상 확보할 수 없다. 그래서 조사원이 현장에서 접근할 수 있는 지리적 단위, 곧 조사구를 먼저 뽑는다. 전국 조사구 중 200개를 뽑고, 뽑힌 조사구 각각에서 5가구씩 조사한다. 안 뽑힌 조사구의 가구들은 통째로 빠진다.

이게 집락이다. 묶음 중 일부만 뽑아서 그 안만 들여다본다. 한 조사구 안의 가구들은 같은 동네에 살기 때문에 소득 수준이나 생활양식이 유사한 경향이 있다(집락내 상관, ICC). 응답이 유사할수록 표본의 분산은 커진다. 같은 표본 크기여도 단순임의추출보다 추정치가 덜 정확하다. deff > 1, 즉 표본 효율이 떨어진다.

공무원 조사 예로 옮겨오면 이렇다.

100개 본부 중 20개 본부를 뽑음

뽑힌 20개 본부에서 각각 10명씩 조사

안 뽑힌 80개 본부 사람들은 조사 대상에서 빠짐

이게 집락추출이다. 같은 본부 사람들은 업무·상사·조직문화를 공유하기 때문에 응답이 비슷해질 가능성이 크다.

효율이 반대 방향으로 가는 이유

층화와 집락이 표본 분산에 미치는 영향은 정반대다.

층화는 칸 안이 동질적일수록 좋다. 칸 안이 비슷하면 적은 표본으로도 그 칸을 잘 대표할 수 있기 때문이다. 그래서 deff < 1.

집락은 묶음 안이 이질적일수록 좋다. 묶음 안이 다양하면 그 묶음만으로도 모집단의 다양성이 반영되기 때문이다. 그런데 현실의 집락은 대부분 동질적이다. 같은 조사구의 가구들은 비슷한 동네 가구들이고, 같은 본부 직원들은 비슷한 일을 한다. 그래서 deff > 1.

층화는 표본 분산을 줄이려고 쓰는 장치고, 집락은 비용 문제(현장 접근, 표집틀 확보) 때문에 분산 손해를 감수하고 쓰는 장치다. 목적 자체가 다르다.

같은 변수가 다르게 쓰일 수 있다

부처라는 변수를 보자. 부처를 어떻게 활용하느냐에 따라 역할이 갈린다.

모든 부처에서 인원에 맞춰 다 뽑으면: 층화 변수

일부 부처만 뽑아서 그 안에서 조사하면: 집락 단위

조사구도 마찬가지다. 통상 조사구는 집락으로 쓰이지만, 만약 모든 조사구에서 한두 가구씩 뽑는 설계라면(현실적으로는 거의 하지 않지만) 층화에 가까운 성격을 갖게 된다.

같은 변수도 "모든 칸에서 다 뽑느냐"와 "일부 묶음만 뽑느냐"에 따라 층화로도, 집락으로도 작동할 수 있다.

실무에서는 같이 쓴다

한국 가구조사 설계서를 보면 "층화 2단계 집락추출"이라는 표현이 흔히 등장한다. 한 설계 안에서 둘 다 쓰인다는 뜻이다.

층화: 시도 × 동읍면 구분으로 모집단을 칸으로 나눔

1차 추출(집락): 각 층 안에서 조사구를 PPS로 뽑음

2차 추출: 뽑힌 조사구 안에서 가구를 계통추출

층화로 표본 대표성을 확보하고, 집락으로 현장 비용을 절감한다. 두 장치는 경쟁 관계가 아니라 보완 관계다.

자주 하는 오해

"층화는 눈에 안 보이고 집락은 지리적이라 눈에 보인다"는 식의 구분은 정확하지 않다. 층화에 쓰이는 변수도 모두 관찰 가능한 정보다. 시도, 성별, 연령, 직급은 다 명부에 있는 값이다.

더 안전한 구분은 이거다.

층화: 모집단을 칸으로 나누고, 모든 칸에서 다 뽑는다

집락: 모집단을 묶음으로 만들고, 일부 묶음만 뽑아서 그 안만 조사한다

표본설계 문서를 읽을 때 "층화 변수"라고 적혀 있으면 칸을 만든 기준이고, "추출단위"나 "집락"이라고 적혀 있으면 묶어서 일부만 뽑은 단위다. 이 구분이 잡혀 있으면 어떤 조사 설계서를 봐도 구조가 보인다.

표집오차한계와 총오차한계 사이의 거리

 표집오차한계와 총오차한계 사이의 거리

여론조사 보고서 끝에는 늘 같은 문장이 붙는다. "표본오차는 95% 신뢰수준에서 ±3.1%p". n=1000, 단순임의표집을 가정했을 때 1.96·√[0.5·0.5/1000]을 계산해 나오는 수치다. 이 숫자가 조사 정확도에 대한 모든 정보를 담고 있는 것처럼 읽히지만, 실제로 ±3.1%p가 무엇을 의미하는지 다시 생각해보면 이야기가 달라진다.

표집오차는 모집단에서 표본을 추출하는 과정에서 발생하는 변동만 반영한다. 같은 설계로 표본을 다시 뽑으면 다른 응답자가 선택되고 그래서 추정치가 달라지는 부분이다. 표집오차한계(margin of sampling error, MOSE)는 이 변동의 95% 구간을 표시한 값이다. 응답자가 누구든 정확하게 응답한다는 가정, 응답하지 않은 사람이 응답한 사람과 같은 의견을 갖는다는 가정, 모집단 전체가 표집틀에 포함된다는 가정이 모두 성립해야 MOSE가 추정치의 불확실성을 온전히 표현한다.

총조사오차라는 틀

총조사오차(total survey error, TSE)는 이 가정들이 어디서 깨지는지 정리한 틀이다. Groves와 Lyberg의 분류를 따르면 오차는 두 부분으로 갈라진다. 표상(representation) 쪽에는 포함오차(특정 인구집단이 표집틀에서 빠지는 문제), 표집오차, 무응답오차(특정 집단이 더 잘 또는 덜 응답하는 문제), 보정오차(가중으로 보정한 뒤에도 남는 편향)가 있다. 측정(measurement) 쪽에는 측정오차(질문이 잘못 이해되거나 사회적 바람직성에 의해 응답이 왜곡되는 문제)와 처리오차(코딩이나 자료 입력 단계 오류)가 있다. 표집오차는 이 여섯 성분 중 하나일 뿐이다.

응답률이 95%를 넘던 Deming(1944)의 시대에는 무응답오차가 작아 표집오차 중심 보고가 큰 문제가 아니었다. 2025년 현재는 사정이 다르다. 미국 일부 확률조사 응답률은 1% 미만이고, 인터넷 광고로 모집되는 옵트인 조사는 응답률 개념 자체가 성립하지 않는 편의표본이다. Mercer et al.(2018)이 대규모 옵트인 조사 3건을 검토한 결과, 가장 효과적인 무응답 보정도 편향의 약 30%만 제거할 수 있었다. 무응답 보정 이후 70%의 편향이 점추정치에 남는다는 의미다. MOSE는 이 편향에 대해 아무것도 알려주지 않는다.

실증: 명목 95%가 실제로 얼마였나

Lohr, Mercer, Kennedy, Brick(2026)의 최근 JSSAM 논문은 이 격차를 경험적으로 측정한다. Shirani-Mehr et al.(2018)이 정리한 1998–2014년 미국 주 단위 선거조사 4,221건을 보면, 표집분산으로 계산한 95% 신뢰구간이 실제 선거 결과를 포함한 비율은 77.6%였다. 주지사 선거에서는 73.3%, 상원의원 선거에서는 71.7%까지 떨어졌다. 명목상 95%였던 구간이 실제로는 74% 수준의 포함률을 가졌다는 뜻이다.

비선거 조사에서는 격차가 더 컸다. Pew Research Center가 동일 질문을 확률표본 3건과 비확률 옵트인 표본 3건에 동시에 던지고 행정자료 벤치마크와 비교한 자료에서, MOSE 기반 95% 신뢰구간이 벤치마크를 포함한 비율은 25%에 불과했다. 확률표본 37%, 비확률표본 13%. 95% 포함률을 회복하려면 비확률표본의 표준오차에 약 10배를 곱해야 했고, 푸드스탬프 수급 같은 정부 지원 관련 문항에서는 14.5배까지 필요했다.

흔히 인용되는 "표준오차에 2를 곱하라"는 Rothschild와 Goel(2016)의 권고는 선거조사 자료에서는 대체로 작동했지만 비선거 조사에서는 한참 부족했다. Pew 자료에서 표준오차에 2를 곱한 구간이 벤치마크를 포함한 비율은 비확률표본 25.7%, 정부 지원 수급 항목에서는 6.7%였다. 이 권고는 특정 시기 특정 주제 자료에서 도출된 것이며, 다른 주제로 그대로 옮길 수 있는 보편 규칙이 아니다.

한국 조사 환경의 함의

한국 조사 환경에서는 이 격차가 더 클 가능성이 있다. 통신사 가상번호 ARS 조사의 실제 응답률, 마케팅 수신 동의 고객 대상 SMS 기반 모바일웹 조사의 자기선택 편향, 1주일 단위로 압축되는 선거조사 일정, 클라이언트가 요구하는 결과 방향 같은 한국 특이 오차원들이 모두 비표집오차에 누적된다. Frame Procurement Error(틀조달오차), Client Intervention Error(클라이언트 개입오차), Timeline Compression Error(일정 압축오차) 같은 한국형 TSE 확장 항목들도 MOSE 한 줄로는 전혀 포착되지 않는다. 그럼에도 한국 조사 보고서에는 표집오차한계 한 줄만 적힌다.

무엇을 할 것인가

대안은 두 갈래다. 하나는 표상이다. Lohr et al.이 제안하는 총오차한계(margin of total error, MOTE)는 벤치마크 추정치가 있는 과거 조사 자료에 모형을 적합해 표준오차에 어느 정도의 비표집오차 성분을 더해야 명목 포함률을 회복하는지 추정한다. 조사 유형, 표본 유형, 질문 주제별로 보정값을 데이터베이스화하면 미래 조사에서도 유사 조건에 맞는 MOTE를 보고할 수 있다. 다른 하나는 분해다. TSE 각 성분에 대한 별도 진단치를 보고하는 방식이다. 응답률뿐 아니라 무응답 보정 전후의 추정치 차이, 가중 변수와 결과 변수의 상관, 측정 실험을 통한 문항 효과 추정치 등을 함께 제시해 추정치의 신뢰도를 여러 층위에서 표시한다.

표집오차한계가 부정확하다는 말이 아니다. MOSE는 가정 안에서 정확히 계산된 값이다. 다만 그 가정이 더 이상 성립하지 않는 시대에 MOSE만 보고하는 관행은 조사 추정치의 정밀도를 실제보다 부풀려 전달한다. 보고된 ±3.1%p가 실제로는 ±6%p 또는 ±10%p에 해당한다는 사실을 사용자에게 알리지 않은 채 조사 결과를 유통하는 것은, 결국 조사 빗나감이 발생할 때마다 업계 전체에 대한 신뢰 손실로 돌아온다.

표집오차는 총조사오차의 한 성분이다. 보고도 거기에 맞추어 가야 한다.

후보지지도 재계산, 다섯 갈래

후보지지도 재계산, 다섯 갈래

한국 공표 선거여론조사는 후보지지율을 거의 원자료 그대로 발표한다. 모름·없다 응답자도 분모에 그대로 두고 백분율을 산출. 미국이나 유럽 조사에서 흔한 "지지후보 응답자 기준" 재백분율조차 한국 공표 본표에는 잘 등장하지 않는다. 여심위 규정이 무응답 사후처리에 대해 명확한 허용 기준을 제시하지 않는 점, 임의 배분이나 모델 추정으로 수치를 조정하면 조작 시비가 붙을 위험이 있어 안전하게 원자료를 내보내는 쪽으로 굳어진 점, 그리고 단순 백분율 공표가 갤럽·한국리서치·리얼미터 시기부터 업계 관행으로 자리잡은 점이 함께 작용한 결과다.

이 관행에는 방법론적 정당성도 있다. 한국 조사업계가 오랫동안 견지해온 입장은 여론조사가 투표 행동을 예측하는 도구가 아니라 특정 시점의 여론 분포를 측정하는 도구라는 것이다. 모름·없다 응답자도 그 시점의 여론을 구성하는 일부이니 분모에 두는 것이 측정 대상에 충실한 처리. 재계산은 측정값에 분석가의 가정을 얹는 작업이고, 여론을 있는 그대로 보여주는 본래 목적에서 한 발 멀어지는 일이다. 적중도 시비에 대해 조사회사들이 "여론과 투표는 다르다"고 항변해온 것도 이 입장의 연장선이고, AAPOR이나 WAPOR 차원에서도 public opinion과 vote intention, voting behavior는 별개 개념으로 다뤄진다.

다만 이 입장이 선거여론조사 영역에서 그대로 통용되기는 어렵다. 선거여론조사라는 명칭 자체가 선거, 그러니까 투표를 대상으로 한다는 뜻이고, "다음 대선에서 누구를 지지하시겠습니까"라는 질문은 응답자에게 시점 여론을 묻는 게 아니라 표심을 묻는 것으로 읽힌다. 응답자도 자기 표심을 답하고 있다고 인식하지 시점 여론의 한 점을 답하고 있다고 생각하지 않는다. 그렇게 모인 응답의 합은 사실상 표심 분포 추정치로 작동한다.

조사회사들이 평소 적중도를 마케팅 자산으로 활용해온 점도 같이 봐야 한다. 특정 선거를 정확히 맞췄다는 사실을 회사 신뢰도의 근거로 내세우면서, 결과가 빗나갔을 때만 "여론과 투표는 다르다"고 항변하는 것은 비대칭이다. 미국이나 유럽 주요 조사기관(Gallup, NYT/Siena, Pew, AAPOR election polling task force)이 적중도 평가를 정면으로 받고 자체 검증 보고서를 발간하는 흐름과도 거리가 있다. 시점 효과나 캠페인 충격으로 설명되는 영역이 분명 있지만, 그것을 적중도 시비 전반에 대한 방패로 일반화하면 정확성 책임에서 빠져나가려는 회피 논리로 기능하기 쉽다.

그래서 비공표 영역(캠프 분석, 학술 검증, 적중도 사후 평가, 컨설팅 보고서)뿐 아니라 공표 영역에서도 표심 추정 책임을 어느 정도 받아들이는 처리가 검토되어야 한다. 실무에서 쓰이거나 거론되는 재계산 방식은 다섯 갈래로 정리된다.

1. 단순 제외 후 재백분율

가장 기본적인 분석 처리. 모름·없다·무응답을 분모에서 빼고 후보 응답자만으로 100%를 다시 산출한다. 보고서에서 "유효응답 기준" 또는 "지지후보 응답자 기준"으로 각주 처리.

장점은 단순함과 투명함이다. 응답값만 가지고 처리하니 추가 가정이 들어가지 않고, 표기와 검증이 쉽다. 단점은 부동층의 정치성향 정보를 통째로 버린다는 것. 모름·없다 응답자가 한쪽 진영에 쏠려 있을 경우 재백분율 결과가 실제 표심과 어긋날 수 있다.

2. 적극투표층 한정 후 재백분율

"반드시 투표하겠다"고 답한 적극투표 의향층만 베이스로 잡고, 그 안에서 모름·없다를 다시 빼고 백분율을 계산한다. 미국식 likely voter 모델의 단순화 버전이고, 한국에서는 보통 투표의향 1단계(반드시) 또는 1·2단계(반드시+가능하면)를 떼어 쓰는 형태로 운용된다.

투표 가능성이 낮은 응답자를 미리 제외하니 실제 투표 결과와의 정합성이 1번보다 올라간다. 다만 적극투표층 자체가 정파성에 따라 편향될 수 있어, 적극·소극 구분 기준이 적절한지는 따로 검증해야 한다.

3. 정당지지도 또는 과거 투표 기반 비례배분

모름·없다 응답자를 지지정당, 이전 선거 투표 후보, 이념성향 같은 사전 정보에 따라 비율로 배분하는 방식이다. 모름 응답자 중 민주당 지지자는 민주당 후보 지지층 분포에, 국민의힘 지지자는 국민의힘 후보 지지층 분포에 비례해 분배.

미국 NYT/Siena, AP-NORC가 부분적으로 쓰고, 한국에서도 캠프 내부 추정에서는 종종 활용된다. 추가 문항 부담이 거의 없다는 게 강점이다. 정당지지도는 정치조사에서 거의 항상 같이 묻기 때문에 사후처리만으로 적용 가능하다.

운용 방식은 두 단계로 잡는 게 무난하다. 지지정당이 있는 응답자에 한해 배분하고, 정당 응답도 모름인 사람은 분모에서 그대로 제외. 셀이 너무 잘게 쪼개지면 셀당 N이 작아져 추정이 불안정해지니 정당지지 단변량으로 충분하다.

4. 강제선택 후속질문(leaners) 합산

설문 단계에서 한 번 더 묻는 방식이다. 1차에서 모름·없다를 고른 사람에게 "굳이 한 명 고른다면 누구를 지지하시겠습니까" 식의 후속 질문을 던지고, leaner 응답을 본 응답에 합산해 재백분율을 산출한다. AP-NORC, Pew 등이 표준으로 쓰는 형태.

설계 단계에서 분기 문항 한 줄만 추가하면 되고, 모델 추정이 아니라 직접 응답이라 정당성 시비가 적다. 단점은 문항수가 한 줄 늘어난다는 점. 모바일 웹서베이처럼 응답 부담이 응답률에 직결되는 환경에서는 비용 부담이 따른다.

웹서베이 UI 차원에서 변형도 가능하다. 모름·없다 선택 시 부드러운 경고창(soft prompt)을 띄우고 "조금이라도 마음이 가는 후보가 있다면 선택해 주세요. 정말 없으시면 그대로 진행하셔도 됩니다" 정도의 문구로 한 번만 환기. 진행은 허용하되 응답을 바꾼 사람은 leaner 플래그로 따로 기록한다. 문항수를 늘리지 않고 후속질문 효과를 UI 단에서 흡수하는 방법이다.

이때 강한 경고창(forced response)으로 응답을 강제하는 방식은 권하지 않는다. 무응답률은 낮아지지만 짜증 응답이 늘고 중도이탈도 증가해 응답품질이 오히려 떨어진다는 게 웹서베이 실증연구의 일관된 결과다.

5. 모델 기반 추정(다중대체 등)

인구통계, 정당지지, 이념성향, 정권평가, 투표의향 같은 변수를 독립변수로 두고 모름·없다 응답자의 후보 선택을 회귀 또는 다중대체(multiple imputation)로 추정해 채워 넣은 뒤 재계산하는 방식이다. 학술 분석이나 정밀 시뮬레이션에서 주로 사용된다.

가장 정교하지만 추정 모형의 설계 선택에 따라 결과가 달라질 수 있고, 응답자가 직접 답한 값이 아니라는 점이 신뢰성 측면의 약점이다. 한국 공표 본표에 반영하기는 사실상 불가능에 가깝고, 보조 분석이나 사후 시뮬레이션 트랙으로 분리해 운용된다.

어느 방법을 선택할 것인가

한국 공표 선거여론조사의 표준은 모름·없다를 분모에 둔 채 그대로 공개하는 원자료 방식이다. 여심위 환경, 업계 관행, 여론과 투표를 구분하는 방법론적 입장이 함께 작용한 결과. 본표 자체를 갑자기 손대는 건 권하지 않지만, 적어도 부속 분석 트랙은 별도로 운용해 표심 추정에 가까운 처리도 같이 보여주는 것이 정확성 시비에 대한 정공법이다.

분석 트랙에서는 1번이 가장 무난하다. 캠프 보고나 내부 검토에서 부동층을 분리하고 후보 간 격차를 또렷이 보고 싶을 때 적합. 부동층 처리를 한 단계 더 손보고 싶다면 3번을 추가로 적용. 추가 문항 없이 가능하고, 정당지지 정보로 부동층의 일부를 살릴 수 있다.

설문 설계 단계에서 손쓸 수 있다면 4번의 변형, soft prompt 방식이 균형 있다. 문항수를 늘리지 않으면서 leaner 정보를 데이터에 남기고, 강제 응답이 아니라 응답품질 저하나 중도이탈 위험도 낮다.

5번은 별도 분석 트랙으로 분리해 부동층 시나리오 분석이나 적중도 사후 검증에 활용하는 정도가 적절하다.

방법론적으로 한 가지 덧붙이자면, 어떤 방식을 쓰든 보고서에는 처리 방식을 명확히 기재해야 한다. 공표 본표는 여론 측정의 원자료, 부속 분석은 표심 예측을 위한 재계산이라는 두 트랙을 명시적으로 분리해서 보여주는 것이 결과 해석의 혼선을 막는 방법이다. 그리고 이 분리가 표심 예측 책임을 회피하는 도구로 쓰이지 않으려면, 적중도 사후 평가는 어떤 식으로든 정면으로 받는 자세가 같이 가야 한다.

림가중치를 막는 0.7~1.5 캡, 추가 보정을 막는 이중 공표

 

림가중치를 막는 0.7~1.5 캡, 추가 보정을 막는 이중 공표

2025년 12월 18일 개정되어 2026년 1월 1일부터 시행되는 선거여론조사기준은 가중치에 관해 두 개의 조항을 둔다. 제5조의 가중값 배율 한계(성·연령·지역 각각 0.7~1.5)와 제14조의 가중치 산출·적용 방법 등록 의무다. 두 조항 모두 객관성과 신뢰성을 확보하려는 의도로 설계되었지만, 현재 형태로는 한국 폴링이 국제 표준 방법론을 도입하지 못하게 만드는 제도적 장벽으로 작동한다.

0.7~1.5 캡과 림가중치의 충돌

한국 실무에서 0.7~1.5 한계는 보통 성×연령×지역 셀 단위 가중치에 적용된다. 림가중치(raking, IPF)는 각 주변분포(margin)를 모집단에 맞추기 위해 셀 가중치가 자유롭게 변동하는 것을 전제하는 알고리즘이다. 7~10개 차원에서 각각 1.2배, 0.85배 같은 온건한 조정만 곱해져도 셀 가중치가 0.5나 2.0을 쉽게 넘어간다. 셀 단위 캡과 다차원 림가중치는 수학적으로 양립이 어렵다.

Pew Research Center의 American Trends Panel은 보통 성, 연령, 인종/에스니시티, 학력, 지역(census division), 도시/비도시, 정당등록, 자원봉사 참여, 시민참여, 인터넷 이용빈도 등 8~11개 변수에서 raking을 한다. 트림은 보통 0.3~3 또는 0.25~4 수준에서 잡고, DEFF(design effect from weighting)를 사후에 공개한다. 한국 기준의 0.7~1.5는 Pew 트림 폭의 약 1/3~1/4 수준이고, 가중 변수 수도 3개로 못 박혀 있다.

이 캡은 분산과 편의 사이에서 분산 쪽으로 강하게 기운 선택이다. 명목상 이유는 극단 가중치로 인한 분산 폭증 방지와 가중치 조작을 통한 결과 왜곡 방지다. 그 대가로 2016년 이후 미국·영국·호주 폴링이 학습한 내용, 특히 학력 가중치 누락이 체계적 편의를 만든다는 발견을 한국 제도가 흡수할 수 있는 구조가 아니게 됐다. 한국에서도 학력별 지지 패턴 차이가 작지 않은데, 학력 가중치를 추가하려면 캡을 위반하거나 기존 변수 중 하나를 빼야 한다.

제5조 제2항이 마련한 우회 통로(두 조사 결과를 합쳐서 분석하면 캡 적용 안 함)도 있지만, 단일 표본에서의 림가중치 문제를 푸는 도구가 아니다. 합산이 가능한 상황에서만 작동하고, 분석 경위와 방법을 별도 공개해야 해서 실무 부담도 크다.

이중 공표 의무가 추가 보정을 페널티화한다

제14조 제3항과 제18조 제2항의 조합이 두 번째 문제다. 인구학 가중치(성·연령·지역) 외에 과거 투표 보정, 후보자 득표율 보정, 응답유보층 분석 등 추가 보정을 수행한 경우 양쪽 결과를 모두 등록·공표해야 한다.

이 규정은 인구학 가중을 "객관적 기준"으로, 그 외 보정을 "추가 해석"으로 보는 위계를 전제한다. 통계적으로는 성립하지 않는 전제다. 모든 가중치는 모델이다. 성·연령·지역 가중도 "응답자를 모집단 분포에 맞추면 추정 정확도가 올라간다"는 가정에 기댄 모델이고, 학력 가중이나 과거 투표 보정과 통계적 지위가 동일하다. Pew, ANES, BES, YouGov 어디도 "원시 인구학 가중 결과"와 "최종 모델 결과"를 병렬로 공표하지 않는다. 가장 정확하다고 판단하는 단일 추정치를 발표하고, 방법론 디테일은 별도 문서에서 투명하게 공개한다.

규정은 표면상 추가 보정을 허용하는 것처럼 보이지만, 실제로는 추가 보정을 수행한 조사기관에 페널티를 부과한다. 같은 조사에서 후보 A 38% vs B 35%(원시)와 A 36% vs B 38%(보정)이 동시에 발표되면, 매체는 자기 프레임에 맞는 쪽을 골라 헤드라인을 잡는다. 일반 독자는 두 추정치의 방법론적 차이를 분별할 도구가 없다. "같은 조사인데 결과가 다르다, 조사 자체를 못 믿겠다"는 결론으로 가게 된다. 합리적인 조사기관의 균형점은 "추가 보정을 안 하는 게 평판상 안전하다"가 되고, 정확도 향상 노력이 평판 리스크가 되는 구조가 만들어진다.

한국적 함의는 더 크다. 응답유보층 분석과 과거 투표 보정은 한국 ARS·웹 환경에서 추정 정확도에 가장 크게 기여하는 보정 방법이다. 유보율이 20~30%에 달하고 정파별 응답 의향에 체계적 차이가 있는 환경에서, 이 두 보정 없이 발표하는 숫자는 사실상 "원시 응답에 인구학 보정만 입힌 값"이다. 그런데 정확히 이 두 방법이 이중 공표 의무의 대상으로 지정되어 있다. 미국식 likely-voter 모델링이나 영국식 turnout adjustment가 한국에서 자리 잡지 못한 가장 큰 제도적 장벽이 여기에 있다.

TSE 분류에 들어가지 않는 한국 특유의 오차원

이 두 조항이 만들어내는 효과는 Total Survey Error 프레임의 표준 분류에 들어가지 않는다. 표본 추출 오차, 미응답 오차, 측정 오차 같은 표준 분류 외에, 규제로 인해 조사기관이 더 정확한 방법론을 채택하지 못하고 덜 정확한 방법론을 선택하게 되는 오차가 추가로 발생한다. Regulatory-Induced Methodology Distortion이라 부를 만하다.

이 오차원은 미국·유럽 TSE 문헌에 등장하지 않는다. 그 나라들에서는 가중치 방법론이 학회와 조사기관 자율로 발전하기 때문이다. 한국에서는 심의위 고시가 가중치 자유도를 직접 제한하기 때문에, 제도 설계 자체가 추정 정확도의 상한을 결정한다. 한국 표본추출틀 문제(통계청이 표본 조사구 정보를 민간 조사기관에 제공하지 않는 구조)와 함께, 한국 폴링의 정확도 한계를 만드는 두 개의 제도적 요인이다.

제도 설계 대안

캡 조항부터 보면, 셀 단위 0.7~1.5 캡은 두 단계로 분리하는 게 합리적이다. 주변분포 단위 캡(예: 성·연령·지역 각 주변분포에서 조정 비율 0.7~1.5)을 두고, 셀 단위는 트림 한계만 명시(예: 0.3~3)하면서, DEFF를 등록 자료에 의무 공개하도록 한다. 이 구조라면 림가중치도 적용 가능하고, 조작 방지·분산 통제 목표도 유지할 수 있다. AAPOR Best Practices의 투명성 원칙과도 부합한다.

이중 공표 의무는 등록·공개 단계와 공표 단계를 분리하는 게 자연스럽다. 모든 가중·보정 방법은 심의위 홈페이지에 등록·공개하되, 조사기관이 단일 "주 추정치(primary estimate)"를 지정하고, 보조 추정치는 등록 자료에 포함되지만 공표 의무 대상에서는 빼는 구조다. 투명성은 등록·공개 단계에서 확보하고, 공표 단계에서는 의사결정자에게 단일 숫자가 전달된다. 지금 규정은 투명성과 공표 의무를 같은 것으로 취급하고 있는데, 이 둘은 별개의 규제 도구로 다뤄야 한다.

지금 형태로 시행되는 가중치 규정은 1990~2000년대 폴링 방법론을 한국에 고정시킨다. 그 기간 동안 국제 폴링은 다차원 raking, 학력 가중, propensity 보정, likely-voter 모델링 등을 표준으로 흡수했다. 한국 폴링이 그 발전을 따라가지 못하는 첫 번째 이유가 시장이나 기술 부족이 아니라 제도라면, KORA, 한국조사연구학회, WAPOR Asia 채널에서 의제로 다뤄질 만하다. 조사기관이 신뢰성 있는 추정치를 만들 자유가 있어야 신뢰성 있는 결과를 공표할 수 있다. 지금 규정은 자유를 제한하면서 신뢰성을 요구한다.

채팅창에서 만든 응답은 신세틱 서베이가 아니다

며칠 동안 신세틱 서베이로 이런저런 실험을 돌리면서 한 가지 중요한 구분을 놓치고 있었다. 정확히는, 놓치고 있다는 걸 늦게 알아챘다.

전북도지사 가상 조사 500명, 전국 정치사회 조사 500명. 두 데이터를 다 만들고 나서 워딩 효과 실험으로 넘어가려는 시점에야 깨달았다. 내가 받아온 그 두 엑셀은 엄밀히 말하면 신세틱 서베이가 아니다. 신세틱 서베이의 모양을 빌려온 룰 기반 시뮬레이션에 가깝다.

이 차이가 별것 아닌 것 같지만 실제로는 매우 크다. 정리해 둘 가치가 있다.

두 가지 처리 방식

처음 받은 두 엑셀의 응답이 어떻게 만들어졌는지 거슬러 올라가 보면 이런 구조였다.

for 응답자 in 패널_500명:
    for 문항 in [Q1, Q2, ..., Q15]:
        응답[문항] = 룰_적용(페르소나_점수, 문항별_확률분포)

겉보기엔 응답자별로 도는 것처럼 보이지만, 각 문항이 페르소나 점수에서 독립적으로 확률 추출된다. 한 응답자의 Q1 응답이 Q2 응답에 영향을 주지 않는다. 룰만 보고 매번 새로 뽑는다.

반면 진짜 신세틱 서베이는 이렇게 돌아간다.

for 응답자 in 패널_500명:
    시스템프롬프트 = 페르소나_정보(응답자)
    대화_히스토리 = []
    
    for 문항 in [Q1, Q2, ..., Q15]:
        대화_히스토리에 문항 추가
        응답 = LLM_호출(시스템프롬프트, 대화_히스토리)
        대화_히스토리에 응답 추가
        저장(응답자, 문항, 응답)

핵심은 응답자 1명당 LLM 호출이 문항 수만큼 일어난다는 점이다. 그리고 매 호출마다 이전 응답이 컨텍스트로 들어간다. 응답자가 자기 답변을 기억하면서 다음 문항을 답하는 구조다.

같은 데이터셋을 만들어도 이 두 방식은 완전히 다른 산물을 낸다.

무엇이 다른가

분포만 보면 두 방식의 결과가 비슷할 수 있다. 룰을 잘 짜면 실제 여론조사 분포와 근사하게 만들 수 있고, 진짜 LLM 호출도 결국은 비슷한 인구학적 패턴을 만든다. 그러나 응답자 단위로 들어가면 차이가 드러난다.

응답자 내 상관(within-respondent correlation)이 다르다. 진짜 조사 데이터는 한 응답자의 정치 문항 5개에 강한 상관이 있다. 같은 사람이 답하니까. 룰 기반은 페르소나 점수를 공유하는 한에서만 약한 상관이 만들어진다. SPSS에서 응답자 내 신뢰도 분석 같은 걸 돌리면 부자연스럽게 깔끔한 결과가 나온다.

문항 간 점화·일관성 동학이 없다. 진짜 응답자는 Q1에 "정부 잘함"이라고 답한 뒤 Q5에서 "정부 정책 부정"이라고 답하기 어렵다. 인지적 일관성이 작동한다. 룰 기반은 이 동학을 못 잡는다. 코드에 그게 들어있지 않으니까.

문항 순서가 응답에 영향을 못 준다. Q1을 먼저 묻든 Q5를 먼저 묻든 결과가 똑같다. 순서 효과 측정 자체가 불가능하다.

워딩 효과 측정도 무력하다. 표현 A와 B에 LLM이 다르게 반응하는지가 워딩 효과의 정의인데, 룰에는 워딩이 변수로 안 들어가 있다. 어떤 표현으로 던지든 같은 룰이 같은 분포를 뽑는다.

조사 방법론에서 다루는 거의 모든 측정 동학이 룰 기반 처리에서는 사라진다. 남는 건 "분포가 그럴듯하다"는 것뿐이다.

그럼 룰 기반은 무가치한가

그건 아니다. 다만 위치가 다르다.

룰 기반 합성 응답은 분포 시뮬레이션으로서 의미가 있다. 표본 설계 검증, 셀 할당이 합리적인지 점검, 셀별 응답 분포의 큰 그림 가늠. 이런 용도에는 충분하다. 빠르고 비용이 없는 게 장점이다.

다만 그걸 "신세틱 서베이"라고 부르는 건 약하다. 차라리 "룰 기반 합성 분포"라고 정직하게 부르는 게 맞다. 신세틱 서베이의 본질은 LLM이 페르소나의 입장에 정렬된 응답을 생성하는 것이고, 그건 응답자 단위 LLM 호출 없이는 일어나지 않는다.

미국 시장조사 업계에서 합성소비자(synthetic consumer)를 상업화한 인텔리시아 같은 곳도, 글로벌 빅3 중 가장 적극적인 입소스도, 다 응답자 단위 LLM 호출 구조다. 그게 신세틱 서베이의 정의에 가깝다.

채팅창에서 만든 응답이 더 약한 이유

여기서 한 단계 더 들어가면 또 다른 구분이 있다. AI 챗봇과 한 채팅창에서 나누면서 만든 응답은, 사실 진짜 신세틱 서베이의 또 다른 약화 버전이다.

한 채팅 인스턴스가 페르소나 30명이든 500명이든 차례로 머릿속에 그려서 응답을 만들어주는 방식. 이건 한 사람이 30명 인터뷰 답을 대신 써준 거랑 비슷하다. 30명 각자 인터뷰한 게 아니다.

같은 채팅 안에서는 앞 페르소나 응답이 뒤 페르소나에 영향을 주는 컨텍스트 오염이 일어난다. 의식적으로 차단하려 해도 같은 머리에서 나오는 응답이라 평균값으로 수렴한다.

진짜 신세틱 서베이는 페르소나 1명당 별개의 LLM 호출을 거쳐야 한다. 시스템 프롬프트가 매번 새로 세팅되고, 그 페르소나의 컨텍스트만 갖고 응답을 생성한다. 다른 페르소나가 어떻게 답했는지 모른다.

이게 API 호출 방식의 본질이다. 채팅창은 한 인스턴스 안에서 다 처리되지만, API는 호출마다 별개의 인스턴스다. 페르소나 500명이면 500개의 독립적 응답 생성이 일어나는 것이다.

비용과 시간이 자릿수가 다르다

이 정통 방식으로 가면 자원이 많이 든다.

전국 500명 × 15문항 본 실험을 가정하면 LLM 호출이 7,500회 일어난다. 컨텍스트가 누적되니까 후반 호출은 토큰이 많아지고, prompt caching을 적용해도 입력 토큰 약 50M, 출력 약 1M이 쌓인다. Haiku 같은 저비용 모델로도 5~15달러, 30분에서 한 시간 정도가 걸린다.

룰 기반은 같은 데이터셋을 30초에 만든다. 비용은 0이다. 자릿수가 다르다.

그러나 결과의 방법론적 무게도 자릿수가 다르다. 콘텐츠로 발행하든 클라이언트에 들고 가든, "응답자 단위 LLM 호출로 만든 신세틱 서베이"와 "룰 기반 합성 분포"는 다른 무게로 받아들여진다.

정직한 자리 잡기

그래서 다음에 합성 응답 데이터를 만들거나 받을 때는 이 두 가지를 구분해 두는 게 좋겠다.

룰 기반 합성 분포: 빠르고 싸다. 분포 시뮬레이션, 표본 설계 검증, 셀 할당 점검에 적합하다. "신세틱 서베이"라고 이름 붙이지 않는 게 안전하다.

진짜 신세틱 서베이: 응답자 단위 LLM 호출. 비싸고 느리다. 응답자 내 동학·문항 간 상관·순서 효과·워딩 효과 모두 측정 가능하다. 콘텐츠나 자문의 근거로 가져갈 수 있다.

두 개를 섞어 쓰면 결과의 신뢰도가 약해진다. 처음에는 룰 기반으로 빠르게 분포 점검을 하고, 정작 의미 있는 측정은 응답자 단위 호출로 넘어가는 게 합리적인 순서다.

이번 며칠은 그 순서를 거꾸로 잡고 시작했다가 워딩 실험 단계에서 막혀서 다시 출발점으로 돌아왔다. 시간이 좀 돌아간 셈이다. 다만 돌아오면서 두 방식의 차이를 명확히 봤다는 건 남는다.

신세틱 서베이를 본격적으로 다룰 거라면, 처음부터 응답자 단위 API 호출 구조를 잡고 시작하는 게 맞다. 그게 조사 방법론자가 인정할 수 있는 시작점이다.

정치조사에 제곱근 할당을 쓰면 안 되는 이유

정치조사에 제곱근 할당을 쓰면 안 되는 이유

통계청 승인조사 표본설계서를 보면 시도별 표본 할당이 비례할당이 아니라 제곱근 할당(또는 그 변형)인 경우가 많다. 가계동향, 경활, 사회조사 모두 그렇다. 그래서 가끔 받는 질문이 있다. "그러면 전국 17개 시도 1000명짜리 정치조사도 제곱근 할당이 더 낫지 않나요?"

답은 "아니오"이고, 오히려 정반대다.

통계청 조사가 제곱근 할당을 쓰는 이유

통계청 승인조사의 1차 산출물은 시도별 공표통계다. 각 시도별로 정해진 CV 기준(예: 20% 이내)을 충족해야 한다. 비례할당으로 가면 인구가 적은 세종·제주·강원은 표본이 너무 적어서 이 기준을 못 맞춘다. 반대로 균등할당으로 가면 전국 추정 효율이 깨진다.

제곱근 할당, 즉 시도별 표본을 인구의 제곱근에 비례하게 배정하는 방식은 그 사이의 절충이다. Bankier(1988)의 power allocation에서 지수 p=0.5에 해당하고, Kish(1976)의 compromise allocation 논의에서 전국 분산과 도메인 분산의 가중평균을 동시에 최소화할 때 자연스럽게 도출되는 형태다. 즉 "여러 도메인의 동시 정밀도"가 핵심 제약일 때 쓰는 도구다.

정치조사 1000명에는 이 논리가 안 맞는다

정치조사 1000명은 산출물 정의 자체가 다르다.

첫째, 공표 단위가 다르다. 정치조사 1000명의 1차 산출물은 전국 단일 지지율이지 시도별 추정치가 아니다. 1000명을 17개 시도에 제곱근으로 분산시키면 작은 시도는 30~50명 수준인데, 이 정도 표본으로는 시도별 신뢰구간이 ±10%p를 훌쩍 넘어서 실용적 의미가 없다. 정치조사에서 실제로 의미 있는 분석 단위는 권역(수도권·충청·호남·대경·PK)이고, 권역 단위라면 비례할당으로도 권역당 100~500명이 확보된다.

둘째, DEFF가 깨진다. 정치조사는 거의 100% 시도×성×연령 셀별 사후가중을 적용한다. 제곱근 할당으로 표본을 뽑으면 모집단 비율 대비 작은 시도가 과대표집되어 있고, 사후가중에서 작은 시도의 가중치가 매우 작아지고 큰 시도(경기·서울)의 가중치가 커진다. 가중치 분산이 커지면 Kish의 DEFF 공식 1 + CV²(w)가 1.2~1.4 수준까지 올라가서, 1000명이 유효표본 700~800명으로 깎인다. 비례할당으로 뽑으면 self-weighting에 가까워서 DEFF가 1.05~1.15 정도에 머문다. 결과적으로 전국 추정의 정밀도가 제곱근 할당에서 오히려 떨어진다.

셋째, 관리해야 할 정밀도가 다른 곳에 있다. 통계청 조사는 시도별 CV가 공표 기준이다. 정치조사 1000명은 시도별 CV가 아예 관리 대상이 아니다. 관리 대상이 어디 있는지가 다른데 같은 할당 논리를 쓰면 안 된다.

여심위 규정이 비례할당을 제도적으로 강제한다

한국 정치조사에는 여기에 더해 제도적 제약이 걸린다. 「선거여론조사기준」 제5조(가중값 배율)는, 누구든지 선거여론조사를 실시할 때 조사지역 전체 유권자의 성별·연령대별·지역별 구성 비율을 기준으로 한 가중값 배율을 밝혀야 하며, 가중값 배율이 일정 범위에 있지 않은 결과를 공표·보도해서는 안 된다고 규정하고 있다. 그 범위는 성별 0.7~1.5, 연령대별 0.7~1.5, 지역별 0.7~1.5다.

규정의 적용 단위가 핵심이다. 가중값 배율은 차원별(성별·연령대별·지역별) 주변분포 가중값이지 응답자 ID별 누적 가중치가 아니다. 그러나 표본 할당의 거시적 한도는 차원별 가중값에서 직접 결정된다. 지역 차원 가중값이 0.7 이상이려면 표본비가 인구비의 1.43배(=1/0.7)를 초과할 수 없다. 이게 booster sampling의 상한이다.

1000명 정치조사에서 이 한도가 어느 정도인지 정량적으로 보면 이렇다. 제주는 인구비 1.3%로 비례할당 13명이 최대 19명까지 늘 수 있고(추가 +6명), 강원은 인구비 2.9%로 29명이 41명까지(+12명), 호남 권역은 인구비 9.8%로 98명이 140명까지(+42명) 늘릴 수 있다. 호남이 200명 가까이 갈 거라는 인상이 있지만 실제로는 140명에서 막힌다. 제주는 booster의 의미가 거의 없다. 동시에 ceiling 1.5도 양방향으로 작동해서 큰 시도에서 booster 재원을 빼올 자리도 좁다. 경기(인구비 25%)는 표본비 16.7% 미만으로 못 빼고, 서울(18%)은 12% 미만으로 못 뺀다.

이 정도 운용 폭이라면 "권역별 분석을 살리는 booster"가 아니라 floor 미세조정 수준의 비례할당에 더 가깝다.

RIM 가중이 사실상 강제된다

규정의 적용 단위가 차원별 주변분포라는 점은 또 한 번 결정적이다. 결합 셀 가중(cell weighting)을 쓰면 셀 가중값이 곧 ID 누적 가중치라서 작은 셀(예: 제주 60대 남성)의 응답 부족이 곧장 규정 위반으로 이어진다. RIM 가중은 차원별 주변분포만 맞추니까 차원별 가중값이 0.7~1.5 안에 있으면 되고, ID별 누적 가중치는 그 범위 밖으로 나가도 무방하다. 작은 셀의 변동을 차원별로 흡수할 수 있다.

결국 여심위 규정 안에서 정치조사 1000명의 가중 방식은 RIM에 가까운 형태로 수렴한다. 단순히 "셀별 극단치 방지" 때문이 아니라 규정의 박스를 ID가 아닌 차원에 적용시키는 방식으로서 RIM이 선택되는 것이다.

그러면 booster의 통계적 효익은 무엇인가

위에서 본 한도 안에서 booster를 하면 통계적으로 정확히 무엇이 좋아지는가. 답은 단순하다. 그 소지역 자체에 대한 추정의 분산 감소, 단 그것뿐이다. 그리고 한도 안에서는 그 효익조차 측정 가능한 수준으로 발현되지 않는다.

비율 p가 0.5일 때의 표준오차로 보면, 제주 비례할당 13명의 SE는 13.9%인데 booster 19명까지 가도 SE는 11.5%로 2.4%p 감소에 그친다. 호남도 비례할당 98명의 SE 5.0%가 booster 140명에서 4.2%로 0.8%p 줄어드는 정도다. 신뢰구간이 ±27%에서 ±22%로 좁아지는 수준인데, 보고서 시각화에서 사실상 구분되지 않는다. SE를 절반으로 줄이려면 표본을 4배 늘려야 하는데, 13명을 50명대로 끌어올리는 booster는 규정상 불가능하다.

게다가 booster 단위(소지역)와 분석 단위(권역)가 일치하지 않으면 효익이 분석으로 잘 전달되지 않는다. 호남 booster는 호남 권역 분석 SE를 약간 줄이지만, 제주·강원·세종 booster는 권역 분석에 거의 영향이 없다.

표본 할당의 통계적 최적해인 Neyman allocation은 시도별 표본을 인구와 분산의 곱에 비례하게 배정하는 방식이다. 그런데 정치조사 변수인 지지율의 시도별 분산은 어디서나 0.2~0.25로 비슷하다. 그러면 Neyman optimal이 사실상 비례할당으로 수렴한다. 단일 모수 추정에서는 비례할당 자체가 통계적 최적해이고, 거기서 벗어나는 booster는 전국 추정 측면에서 항상 손해다.

정리

표본 할당 방식은 도구가 아니라 산출물 정의의 함수다. 통계청 조사의 제곱근 할당이 합리적인 이유는 시도별 공표통계라는 산출물 때문이지 제곱근 할당이라는 형식 자체가 우월해서가 아니다. 같은 1000명짜리 조사라도 산출물이 전국 단일 추정인지, 권역별 비교인지, 시도별 추정인지에 따라 답이 완전히 달라진다.

정치조사 1000명은 그 중 첫 번째 케이스(권역별 비교 일부 포함)이고, 거기에 맞는 답은 비례할당이다. 강원·제주·세종 같은 소지역은 비례할당으로 적은 표본 그대로 두고, 권역별 분석에서는 "사례수 부족, 참고용" 주석으로 처리하거나 권역에 통합하는 게 한국 정치조사의 표준 관행이다. 제곱근 할당은 들어올 자리가 없고, booster sampling도 여심위 규정·DEFF·표본 비용 어느 측면에서도 정당화되기 어렵다.

이는 자연 발생적 합의가 아니라 통계학(Neyman optimal, DEFF)과 규제(여심위 가중값 배율)의 합작품이다. 1000명 안에서 권역별 분석을 진짜로 살리려면 booster로 풀려고 하지 말고 시도 단위 셀 가중을 권역 단위로 묶거나, cell weighting 대신 RIM을 적용하거나, 표본 자체를 1500~2000명으로 키우는 게 정공법이다.