앞 글에서 층화와 집락의 차이를 다뤘다. 그런데 실무에서 더 자주 헷갈리는 짝이 따로 있다. 층화와 할당이다. 두 방식은 보고서 표로 찍어놓으면 거의 똑같이 생겼다. 시도×성별×연령 칸을 만들고 칸마다 인원을 정해서 채운다는 것이 둘 다 똑같다. 그런데 통계적 성격은 완전히 다르다.
외형이 같아서 헷갈린다
층화추출 결과표와 할당추출 결과표를 나란히 놓으면 구분이 안 된다. 둘 다 이런 식이다.
서울 20대 남자 30명
서울 20대 여자 30명
서울 30대 남자 35명
…
표본 구성, 분포, 칸별 인원 모두 비슷하게 보인다. 그래서 "할당이지만 층화처럼 보이는 표"가 한국 여론조사 보고서에 흔하다. 보고서 본문에 "층화추출법을 적용했다"는 문장이 들어가 있어도 실제 동작은 할당인 경우가 많다.
두 방식이 어디서 갈리는지 보려면 표가 아니라 표본을 만드는 과정을 봐야 한다.
층화는 확률추출
층화는 모집단 명부에서 출발한다. 모집단을 시도×성별×연령 같은 기준으로 칸으로 나누고, 각 칸 안에서 단순임의추출이나 계통추출로 표본을 뽑는다. 추출확률이 사전에 정해져 있고, 누가 뽑힐지가 그 확률에 따라 결정된다.
이게 가능하려면 두 가지 조건이 필요하다.
첫째, 모집단 명부(표집틀)가 있어야 한다. 둘째, 그 명부에서 각 사람의 칸 정보(어느 시도, 어느 연령대인지)를 알 수 있어야 한다.
전형적인 예가 통계청 가구조사다. 인구주택총조사 결과로 만든 조사구 명부와 그 안의 가구 정보가 있기 때문에 시도×동읍면으로 층화하고 각 층에서 확률적으로 뽑는 작업이 가능하다. 학생 조사에서 학교명부와 학년·반 정보가 있으면 학교를 층화한 다음 학급·학생을 확률적으로 뽑을 수 있다.
층화의 장점은 표본 추출확률을 알기 때문에 표준오차를 계산할 수 있고, 칸 안이 동질적일수록 분산이 줄어든다는 점이다(deff < 1). 통계적 추론의 정당성이 확보된다.
할당은 비확률추출
할당은 칸별 인원만 정해놓고 그 인원을 채울 때까지 모집하는 방식이다. 누가 들어오는지는 통제되지 않는다. 조사원의 접근 가능성, 응답자의 자발적 응답 의사, 패널의 가입 동기 같은 요인이 표본 구성을 결정한다.
길거리 조사를 떠올리면 이해가 쉽다. "30대 여성 20명만 채우면 끝"이라는 지시를 받은 조사원은 30대 여성처럼 보이는 사람에게 다가가서 응답을 부탁한다. 같은 30대 여성이어도 길거리 시간대, 위치, 조사원의 성향에 따라 누가 표본에 들어갈지가 달라진다. 추출확률은 정의되지 않는다.
온라인 패널 조사도 구조적으로 할당이다. 패널 자체가 자발적 가입자 집단이고, 그 안에서 칸을 채우는 작업은 모집단의 확률표본이 아니다. 패널에 가입한 사람과 안 한 사람의 차이가 이미 표본에 들어가 있다.
할당의 약점은 응답자 자기선택 편의(self-selection bias)가 통제되지 않는다는 점이다. 표준오차도 엄밀하게는 계산할 수 없다. 표본추출확률이 정의되지 않기 때문이다. 실무에서는 단순임의추출 가정으로 표준오차를 보고하지만, 그것이 통계적 정당성을 가진다고 보기는 어렵다.
한국 여론조사에서 둘이 섞이는 이유
한국 정치·사회 여론조사에서 가장 흐릿해지는 곳이 여기다. 보고서에는 "층화추출"이라고 적혀 있지만 실제 작업은 할당에 더 가까운 경우가 많다.
ARS·CATI 조사를 보자. 통신사 가상번호 명부를 받아서 시도×성별×연령으로 층화한 다음 발신한다. 여기까지만 보면 층화처럼 보인다. 그런데 응답률이 3~7% 수준인 환경에서는 사전 추출확률이 사실상 의미를 잃는다. 같은 칸에서 발신된 번호 100건 중 응답한 5명이 누구냐를 결정하는 건 추출 단계의 확률이 아니라 응답자의 자기선택이다. 외형은 층화고 실질은 할당이다.
웹조사도 마찬가지다. 사전 동의 패널이든, 통신사 마케팅 수신동의 SMS 발송이든, 응답자 모집 단계에서 자발성이 강하게 작용한다. 칸별 인원이 다 차면 할당 완료. 이건 명백한 할당이다.
그래서 한국 여론조사 보고서를 읽을 때는 "층화추출"이라는 표현이 두 가지 의미로 쓰인다는 점을 알아야 한다.
명부에서 확률적으로 뽑는 진짜 층화
칸을 미리 정해놓고 응답자가 들어올 때까지 발신·모집하는 할당(외형만 층화)
가구조사처럼 명부 기반 확률추출이 가능한 영역에서는 진짜 층화가 작동한다. 정치 여론조사 영역에서는 사실상 할당이 작동한다.
가중치만 봐서는 구분이 안 된다
층화든 할당이든 가중치를 셀(region × gender × age) 단위로 거는 작업은 똑같이 한다. 셀 안 표본 비율과 모집단 비율의 비로 가중치를 만들고, 이걸 곱해서 분포를 모집단에 맞춘다.
그래서 가중치 적용 방식만 보면 두 방식이 구분되지 않는다. 가중치는 사후 보정 도구일 뿐, 표본추출 자체의 통계적 성격을 바꾸지 못한다. 비확률표본에 가중치를 걸어도 비확률표본이다. 다만 분포만 모집단과 비슷해진다.
이 부분이 자주 오해된다. "셀별 가중치를 적용했으니 추출확률이 보정된 것 아니냐"는 식의 진술은 정확하지 않다. 가중치는 분포를 맞출 뿐, 응답자 자기선택을 무효화하지 않는다.
구분 기준
둘을 구분하려면 한 가지만 보면 된다. 칸 안에서 누가 뽑힐지가 어떻게 결정되는가.
칸 안에서 누구를 뽑을지가 사전 추출확률로 결정되면 → 층화
칸 안에서 누구를 뽑을지가 응답자 자기선택이나 조사원 선택으로 결정되면 → 할당
표본 설계서나 보고서를 읽을 때 이 질문을 던지면 된다. 명부 기반 확률추출이 작동했는가, 아니면 칸 채우기로 작동했는가. 답이 후자라면 그 조사는 표현이 어떻게 되어 있든 할당이다.
층화추출과 할당추출은 외형만 같고 통계적 정당성이 다르다. 한국 여론조사 실무를 분석할 때 이 구분이 잡혀 있어야 보고서 문구와 실제 작업 사이의 간극이 보인다.
댓글 없음:
댓글 쓰기