가중치: 24개 질문과 대답

Q183. 가중치는 왜 필요한가? 표본이 모집단을 완벽하게 반영하지 못하기 때문이다. 조사 결과를 모집단 전체에 대한 추정값으로 쓰려면, 과대 대표된 집단은 낮추고 과소 대표된 집단은 높여야 한다. 가중치는 표본과 모집단 사이의 불일치를 교정하는 수치적 장치다. 가중치 없이 발표하는 것은 왜곡된 표본 구조를 그대로 결과로 내놓는 것이다.

Q184. 가중치를 안 하면 어떤 일이 생기는가? 표본 구성 편향이 그대로 결과에 반영된다. 온라인 패널에서 20~30대가 과다 응답했다면 미가중 결과는 젊은 층의 의견을 과대 대표한다. 선거 여론조사에서 가중치를 안 하면 특정 연령대나 지역의 지지율이 실제와 크게 달라진다. 가중치는 선택이 아니라 추정의 기본 절차다. 특별한 이유 없이 가중치를 생략하는 것은 방법론적 태만이다.

Q185. 모집단 구조를 모르면 가중치를 할 수 없는가? 완전히 모른다면 불가능하다. 가중치는 표본 구조를 모집단 구조에 맞추는 작업이므로, 기준이 되는 모집단 정보가 있어야 한다. 실무에서는 인구총조사, 주민등록 통계, 통계청 인구 추계를 기준으로 쓴다. 모집단 정보가 없는 변수는 가중변수로 쓸 수 없다. 가중치의 품질은 기준 모집단 정보의 정확성에 직접적으로 의존한다.

Q186. 인구통계 가중치만으로 충분한가? 대부분의 경우 충분하지 않다. 성별·연령·지역을 맞춰도 응답자와 비응답자 사이의 태도·행동 차이가 인구통계로 설명되지 않는다면 편향은 남는다. 특히 정치 성향이나 이념 같은 변수는 인구통계와 독립적으로 응답 참여 여부에 영향을 미친다. 이상적으로는 측정 목적과 관련된 변수를 가중변수에 포함해야 하지만, 모집단 기준값을 구하기 어렵다는 현실적 제약이 있다.

Q187. 가중변수는 어떻게 선택해야 하는가? 두 가지 조건을 동시에 충족해야 한다. 첫째, 표본과 모집단 간 분포 차이가 있어야 한다. 분포가 이미 일치하면 가중치가 필요 없다. 둘째, 그 변수가 주요 결과 변수와 관련이 있어야 한다. 관련 없는 변수로 가중치를 걸면 추정 효율만 낮아진다. 통상적으로 성·연령·지역을 쓰지만, 조사 주제에 따라 학력, 직업, 정치 성향도 가중변수 후보가 된다.

Q188. 림가중(raking)이란 무엇인가? 여러 가중변수의 주변 분포를 동시에 모집단에 맞추는 반복 알고리즘이다. 예를 들어 성별 분포를 먼저 맞추고, 그 다음 연령 분포를 맞추고, 다시 성별로 돌아가는 과정을 수렴할 때까지 반복한다. 셀별 교차 빈도를 정확히 맞출 수 없을 때 유용하다. 교차 셀의 기준값이 없어도 각 변수의 주변 분포만 있으면 적용할 수 있다. 한국 여론조사에서 가장 널리 쓰이는 가중치 방법이다.

Q189. 사후층화가중(post-stratification)과 림가중은 어떻게 다른가? 사후층화는 성·연령·지역의 교차 셀별로 정확한 모집단 비율에 맞추는 방법이다. 교차 셀의 모집단 정보가 있어야 하고, 셀별 표본 수가 충분해야 한다. 셀 빈도가 작으면 극단적 가중값이 생긴다. 림가중은 교차 셀 정보 없이 각 변수의 주변 분포만으로 가중치를 산출한다. 요구 정보가 적고 극단값 발생 위험이 낮다. 실무에서는 정보 가용성과 표본 규모에 따라 선택한다.

Q190. 가중치의 분산 효과(design effect)란 무엇인가? 가중치 적용이 추정의 분산을 얼마나 키우는지를 나타내는 지표다. 가중치가 클수록, 가중값의 편차가 클수록 분산 효과가 커진다. 분산 효과가 2라면 가중치 적용 후 실제 유효표본 크기가 명목 표본 크기의 절반이라는 의미다. n=1,000이어도 분산 효과가 2면 추정 정밀도는 n=500 수준이다. 가중치를 쓰면 항상 어느 정도의 정밀도 손실이 생긴다는 것을 인식해야 한다.

Q191. 극단적 가중값(extreme weights)은 왜 문제인가? 소수의 응답자가 전체 추정에 과도한 영향을 미치기 때문이다. 가중값이 10이라면 그 응답자 한 명이 10명 몫의 영향을 갖는다. 이 응답자의 응답이 비전형적이거나 오류라면 추정 전체가 흔들린다. 극단적 가중값은 분산을 키우고 추정의 안정성을 떨어뜨린다. 가중값 분포를 확인하지 않고 결과만 보는 것은 시한폭탄을 무시하는 것이다.

Q192. 가중값 트리밍(trimming)은 언제 해야 하는가? 극단적 가중값이 추정에 불안정성을 만들 때다. 일반적으로 최대 가중값이 중앙값의 5~6배를 넘으면 트리밍을 고려한다. 트리밍은 극단값을 특정 상한으로 잘라내고, 잘린 부분을 다른 응답자에게 재배분하는 방식이다. 그러나 트리밍은 트레이드오프다. 분산은 줄지만 편향이 약간 증가한다. 트리밍 기준과 방법을 사전에 명시하고, 트리밍 전후 결과를 비교하는 것이 투명한 절차다.

Q193. 가중치 적용 전후 기술통계 비교는 왜 중요한가? 가중치가 실제로 의도한 방향으로 작동했는지 확인해야 하기 때문이다. 가중 전후 주요 인구통계 분포가 기준 모집단과 일치하는지, 주요 결과 변수의 분포가 어떻게 달라졌는지 확인해야 한다. 차이가 크다면 표본 편향이 심각하다는 신호이고, 차이가 거의 없다면 가중이 의미 있는 교정을 하지 못했다는 신호일 수 있다. 가중치 적용은 눈 감고 하는 작업이 아니다.

Q194. 온라인 패널의 성향점수가중(propensity score weighting)이란? 온라인 패널 참여 여부를 결과변수로 하는 로지스틱 회귀 모형을 만들어, 패널 참여 확률이 낮은 집단의 응답자에게 높은 가중치를 부여하는 방법이다. 일반 모집단과 온라인 패널의 특성 차이를 보정하려는 시도다. 단순 인구통계 가중치보다 정교하지만, 모형에 포함된 변수로만 편향을 교정할 수 있다. 관측되지 않는 특성의 차이는 여전히 남는다.

Q195. 가중치가 분석 결과를 역전시킬 수 있는가? 드물지만 가능하다. 특정 집단이 표본에서 크게 과소 대표되었고 그 집단의 응답 방향이 다른 집단과 반대라면, 가중치 적용 후 결과가 역전될 수 있다. 예를 들어 미가중 결과에서 찬성이 다수였지만 고령층이 과소 대표됐고 고령층이 강하게 반대한다면, 가중 후 반대가 다수가 될 수 있다. 이것이 가중치를 사후에 조작해 원하는 결과를 만드는 것이 가능한 이유이기도 하다.

Q196. 의뢰인에게 유리한 가중 구조를 사후에 선택하는 것은 어떤 문제인가? 방법론적 조작이다. 여러 가중 방식을 시도해보고 의뢰인에게 유리한 결과를 내는 방식을 선택하는 것은, 겉으로는 통계적 절차를 따르지만 실질적으로 결과를 만드는 행위다. 이것이 문제인 이유는 가중치라는 과학적 외양이 조작을 가려주기 때문이다. 사전에 가중 방법을 명시하고 그대로 따르는 것이 유일한 방어책이다. 가중치는 설계 단계에서 결정되어야 한다.

Q197. 가중치 없이 보고하는 것이 정직한 경우는 언제인가? 표본이 실제로 모집단을 잘 대표할 때, 또는 가중치가 결과를 거의 바꾸지 않을 때다. 또한 가중 모집단 정보가 신뢰할 수 없을 때, 가중치 적용이 오히려 편향을 키울 위험이 있을 때도 미가중이 나을 수 있다. 특수 목적 표본(특정 집단만 대상)이나 탐색적 조사에서는 가중이 불필요하거나 의미 없을 수 있다. 가중치를 적용하지 않는 것도 근거가 있어야 한다.

Q198. 하위집단 분석에서 가중치 적용 방식은 달라야 하는가? 상황에 따라 다르다. 전체 모집단 추정을 위한 가중치를 하위집단 분석에 그대로 쓰면, 그 하위집단 내부에서 가중치가 의미 있는 교정을 하는지 확인해야 한다. 하위집단 내 가중값 분포가 극단적이라면 별도의 하위집단 전용 가중치를 산출하는 것이 낫다. 단, 하위집단별 가중치를 쓰면 전체와 하위집단 결과를 단순 합산하기 어려워진다. 분석 목적에 따라 결정해야 한다.

Q199. 패널 조사의 종단 가중치란 무엇인가? 반복 조사에서 시간이 지남에 따라 발생하는 표본 탈락과 구성 변화를 교정하는 가중치다. 초기 표본의 인구통계 구조를 유지하면서, 탈락자의 특성을 반영해 잔류 응답자에게 추가 가중치를 부여한다. 종단 분석에서 1차 웨이브와 최종 웨이브의 비교가 의미 있으려면 종단 가중치가 필요하다. 탈락이 무작위적이지 않다면 종단 가중치 없는 장기 패널 분석은 심각한 편향을 안고 있다.

Q200. 가중치 설계를 사전에 명시해야 하는가? 반드시 그래야 한다. 가중변수, 기준 모집단 출처, 가중 방법, 극단값 처리 기준을 사전에 확정하고 문서화하는 것이 방법론 투명성의 기본이다. 사후에 결과를 보고 가중 방법을 조정하는 것은 p-hacking과 동일한 구조의 문제다. 사전 명시는 의뢰인 압력이나 연구자의 무의식적 편향으로부터 분석을 보호하는 장치이기도 하다. 좋은 가중치는 결과를 보기 전에 결정된다.

Q201. 가중치는 데이터의 결함을 고칠 수 있는가? 제한적으로만 가능하다. 인구통계 분포의 불일치는 교정할 수 있다. 하지만 측정 오차, 응답 편향, 문항 설계 문제는 가중치로 해결되지 않는다. 잘못된 질문으로 수집된 데이터에 아무리 정교한 가중치를 걸어도 측정 오차는 그대로다. 가중치는 표본 대표성 교정 도구이지 데이터 품질 복원 도구가 아니다. 가중치를 만능으로 보는 시각이 오히려 위험하다.

Q202. 지역별 가중치는 어떻게 설정해야 하는가? 지역 분류 기준과 모집단 기준값을 먼저 확정해야 한다. 17개 시도별로 할지, 수도권·비수도권으로 묶을지, 도시 규모별로 분류할지에 따라 결과가 달라진다. 기준값은 주민등록 통계나 인구총조사를 쓴다. 지역별 가중치를 성·연령 가중치와 함께 쓸 때는 교차 셀이 급격히 늘어나므로 림가중이 현실적이다. 지역 분류가 너무 세밀하면 셀 빈도 부족과 극단값 문제가 생긴다.

Q203. 가중치 적용 후 유효표본 크기(effective sample size)란? 가중치 적용으로 인한 분산 증가를 반영한 실질적 표본 크기다. 공식은 명목 표본 크기를 분산 효과로 나눈 값이다. 예를 들어 n=1,000이고 분산 효과가 1.5라면 유효표본 크기는 약 667명이다. 표집오차와 통계적 검정은 명목 n이 아닌 유효표본 크기 기준으로 해야 한다. 가중치를 쓰면서 명목 n을 그대로 쓰면 정밀도를 과장하는 결과가 된다.

Q204. 가중치가 있는 데이터의 카이제곱 검정은 어떻게 하는가? 단순히 가중치를 적용한 빈도로 카이제곱 검정을 하면 안 된다. 가중 빈도는 명목 n보다 커지거나 작아지므로 검정 통계량이 왜곡된다. 설계 기반 분석(design-based analysis)을 적용하거나, 분산 효과를 보정한 수정 카이제곱 통계량을 써야 한다. SPSS의 복합표본 분석 모듈이나 R의 survey 패키지가 이를 지원한다. 가중 데이터에 일반 카이제곱을 그냥 쓰는 것은 흔하지만 틀린 관행이다.

Q205. 인구구조 변화에 따라 가중 모집단을 어떻게 갱신해야 하는가? 가중 기준값은 가장 최신의 신뢰할 수 있는 모집단 통계를 써야 한다. 통계청의 주민등록 인구 통계는 매월 갱신되므로 조사 시점에 맞는 기준을 써야 한다. 인구총조사 기반 가중치를 5년 이상 그대로 쓰면 인구구조 변화가 반영되지 않아 편향이 생긴다. 고령화, 지역 인구 이동, 1인 가구 증가 같은 구조적 변화는 가중치 기준에 즉시 반영되어야 한다. 기준값 출처와 기준 시점을 항상 명시해야 한다.

Q206. 가중치는 비표본오차를 줄일 수 있는가? 일부는 가능하지만 전부는 아니다. 무응답 가중치 조정은 무응답 오차의 일부를 줄인다. 인구통계 가중치는 커버리지 오차를 부분적으로 교정한다. 그러나 측정 오차(잘못된 질문, 응답 편향)와 처리 오차(코딩 실수)는 가중치로 건드릴 수 없다. 가중치의 역할 범위를 정확히 이해해야 한다. 비표본오차 전체를 해결해주는 도구는 없다. 각 오차는 해당 단계에서 직접 관리해야 한다.