결과표의 사례수, 실제로 조사한 사람 수를 적자

 

결과표의 사례수, 실제로 조사한 사람 수를 적자

가중 사례수만 적힌 결과표가 만들어내는 혼란에 대하여

조사 결과표에서 비율보다 먼저 읽어야 하는 숫자는 맨 윗줄의 사례수다. 그 셀의 수치를 얼마나 믿어도 되는지 알려주는 유일한 단서이기 때문이다. 그런데 정작 이 사례수가 실제로 조사한 사람 수인지, 가중치를 곱한 뒤의 숫자인지는 표만 봐서는 알기 어렵다.

우리나라 관행은 조사 종류에 따라 갈린다. 선거·정치 여론조사는 실제 사례수와 가중 사례수를 나란히 밝힌다. 중앙선거여론조사심의위원회 등록 규정이 가중 전후 사례수를 모두 공개하도록 요구하기 때문이다. 반면 사회조사, 정책조사, 만족도조사 등 대부분의 조사는 가중 사례수만 적는다. 방법론적 판단의 결과라기보다는, 규정이 없는 영역에서 통계 패키지가 뽑아주는 기본값이 그대로 관행이 된 경우에 가깝다.

결론부터 말하면, 결과표의 사례수는 실제 조사한 사람 수가 기본이 되어야 한다고 본다. 특히 제곱근 할당처럼 실제 표본과 가중 표본의 괴리를 일부러 크게 만드는 설계에서는, 가중 사례수만 적는 관행이 독자를 체계적으로 오도한다.

사례수는 두 가지 일을 한다

표 속의 사례수는 역할이 둘이다. 하나는 비율 계산의 분모다. 다른 하나는 그 비율이 얼마나 정밀한지 알려주는 신호다. 문제는 이 두 역할이 요구하는 숫자가 서로 다르다는 데 있다. 분모 역할만 생각하면 가중 사례수가 자연스럽다. 비율이 가중 데이터로 계산되니, 사례수도 가중 기준이어야 셀의 숫자를 곱해 인원수를 재구성할 수 있고 하위집단의 합이 전체와 맞아떨어진다.

그러나 신호 역할을 생각하면 답이 달라진다. 추정치의 오차를 결정하는 것은 실제로 몇 명이 응답했느냐다. 가중은 정보를 늘려주지 않는다. 늘리기는커녕 가중치의 편차만큼 분산을 키운다. 이른바 설계효과다. 그래서 가중 후의 유효 표본 규모는 실제 응답자 수보다 작아지는 것이 보통이다. 실제 40명을 가중해 90명으로 적는 표는, 40명만도 못한 정밀도를 90명짜리로 보이게 하는 이중의 과대표시가 된다.

국제 기준은 이 충돌을 역할 분담으로 정리했다. 비율은 모집단 값의 추정이므로 가중치를 적용하고, 사례수는 데이터의 실체를 보여주는 숫자이므로 실측을 적는다. 미국여론조사협회(AAPOR)의 공개기준은 보고서에 등장하는 하위집단 추정치마다 비가중 사례수를 밝히도록 명시하고 있고, 표본오차를 보고할 때는 가중에 따른 설계효과를 반영했는지까지 밝히라고 요구한다. 제3자가 유의성 검정을 다시 돌려보거나 특정 셀의 표본이 해석에 충분한지 판단하려면 실제 사례수가 있어야 한다는, 검증 가능성의 논리다.

실측 표기를 지지하는 근거는 하나 더 있다. 가중 사례수는 스케일 자체가 임의적이라는 사실이다. 가중치의 합을 응답자 수에 맞추면 1,000이 되지만, 모집단 수에 맞추면 4,300만이 된다. 같은 조사에서 어느 쪽으로 정규화하느냐에 따라 아무 숫자나 될 수 있는 값이다. 관례상 합을 응답자 수에 맞춰 놓아 실측처럼 보일 뿐이다. 반면 실제 사례수는 정의가 하나뿐이고, 누가 계산해도 같다.

제곱근 할당 조사에서 벌어지는 일

이 문제가 가장 날카롭게 드러나는 곳이 제곱근 할당이다. 17개 시도를 포괄하는 정부·공공 조사에서 표본을 인구에 비례해 배분하면 세종이나 제주 같은 작은 시도는 20~40명밖에 배정받지 못해 지역별 분석이 불가능해진다. 그래서 인구의 제곱근에 비례해 배분한다. 작은 시도를 일부러 더 조사하고, 큰 시도를 덜 조사한 뒤, 전국 수치를 낼 때 가중치로 인구 비례를 복원하는 설계다. 전국 3,000명 조사를 가정한 예시는 다음과 같다.

시도	인구 비중	인구비례 배분	제곱근 할당 (실제 조사)	가중 후 사례수	응답자 1인 가중치
세종	0.7%	21명	70명	21명	0.30
제주	1.3%	39명	92명	39명	0.42
서울	18.2%	546명	343명	546명	1.59
경기	26.6%	798명	415명	798명	1.92
…	…	…	…	…	…
전국	100%	3,000명	3,000명	3,000명	평균 1.00

표 1. 전국 3,000명 조사의 배분 예시(인구 비중은 예시값, 사례수는 반올림). 응답자 1인 가중치는 시도 내 균등 가정.

세종은 실제로 70명을 조사했지만 가중치 0.30이 곱해져 표에는 21명으로 찍힌다. 경기는 415명을 조사했는데 가중치 1.92가 곱해져 798명으로 부풀어 나온다. 가중 사례수만 적힌 결과표를 받아 든 독자의 판단은 정해져 있다. 세종 수치는 표본 20명대라 인용하기 어렵다는 판정을 받고, 경기 수치는 800명 가까운 탄탄한 결과로 대접받는다. 둘 다 틀렸다. 방향까지 반대로 틀렸다.

시도	실제 사례수 기준 오차	표기된 가중 사례수로 읽을 때	왜곡 방향
세종	70명, ±11.7%p	21명, ±21.4%p	정밀도 과소평가
경기	415명, ±4.8%p	798명, ±3.5%p	정밀도 과대평가

표 2. 95% 신뢰수준, 단순임의추출 가정의 최대 표본오차. 설계효과를 반영하면 격차는 더 벌어진다.

세종의 찬성률이 61.0%로 나왔다고 하자. 실제 근거는 70명, 오차 ±11.7%p짜리 추정치다. 그런데 표에는 21명으로 적혀 있으니 독자는 ±21.4%p짜리로 읽고 버린다. 작은 시도의 사례수를 확보하겠다고 예산을 들여 세 배 넘게 과대표집한 설계 의도가, 표기 관행 하나 때문에 표에서 지워지는 것이다. 반대로 경기는 실제보다 두 배 가까이 정밀해 보인다. 유의미하지 않은 차이가 유의미한 것으로 보고되는 경로다.

실무에서 겪는 혼란은 여기서 끝나지 않는다. 보고서 앞부분의 조사개요에는 지역별 실제 표본 수와 그 기준의 표본오차를 적어 놓고, 뒤의 결과표에는 가중 사례수를 적는 경우가 흔하다. 한 보고서 안에서 세종이 앞에서는 70명, 뒤에서는 21명이 된다. 발주처 담당자가 왜 숫자가 다르냐고 물으면 설명이 길어지고, 설명을 들어도 표를 읽을 때마다 환산이 필요하다. 소표본 셀에 음영을 넣거나 각주로 경고하는 관행도 실제 응답자 수 기준으로 만들어진 것인데, 가중 사례수 위에서는 이 경고선이 제대로 작동하지 않는다. 실제 70명짜리 셀이 21명으로 표기되어 불필요한 경고를 받고, 실제 25명짜리 셀이 가중으로 50명이 되어 경고 없이 통과하는 일이 동시에 일어난다.

정합성 반론에 대하여

가중 사례수 표기를 지지하는 논리가 없는 것은 아니다. 비율이 가중 데이터로 계산되므로 사례수도 가중 기준이어야 표가 안에서 맞아떨어진다는 정합성 논리다. 실측 사례수에 가중 비율을 얹으면, 70명의 61.0%는 42.7명이라는 어색한 계산이 나온다는 지적도 가능하다.

타당한 지적이지만, 각주 한 줄로 해소되는 문제다. 비율은 가중치를 적용한 값이고 사례수는 실제 응답 사례수라고 표 하단에 밝히면 된다. 표의 산술적 정합성을 지키자고 추정치의 신뢰도 정보를 지우는 것과, 각주 하나로 계산 방식을 밝히고 신뢰도 정보를 살리는 것 중 어느 쪽이 독자에게 이로운지는 자명하다. 사례수를 보고 독자가 내리는 판단은 이 수치를 믿을 것인가이지, 몇 명으로 나눴는가가 아니다.

이렇게 제안한다

첫째, 결과표 사례수의 기본값은 실제 응답 사례수로 한다. 표 하단에 고정 각주를 단다. 예를 들면 이렇게. "비율은 성·연령·지역 가중치를 적용한 값이며, 사례수는 실제 응답 사례수임."

둘째, 제곱근 할당처럼 실제와 가중의 괴리가 큰 설계에서는 두 사례수를 병기한다. 표기 순서는 실측을 앞에 두어 70(21)과 같이 적는다. 독자가 먼저 봐야 할 숫자는 실측이기 때문이다. 모든 배너에 병기하기 부담스러우면 전체와 지역 배너처럼 괴리가 큰 구간에만 병기하는 절충도 가능하다.

셋째, 소표본 경고는 실제 사례수 기준으로 건다. 실측 30명 미만 셀에 음영이나 별도 표시를 하고, 그 기준을 각주에 밝힌다.

넷째, 전국치처럼 가중치 편차가 큰 추정치에는 설계효과나 유효 표본 규모를 조사개요에 함께 적는 것이 정직하다. 제곱근 할당의 전국 추정치는 명목 3,000명보다 상당히 작은 유효 표본으로 계산된 값이다.

사례수는 조사 회사가 자기 데이터의 실체를 어디까지 보여줄 것인가의 문제다. 가중 사례수만 적힌 표는 거짓말은 아니지만, 독자가 가장 필요로 하는 정보를 가려 놓은 표다. 규정이 있는 정치조사만 병기하고 규정이 없는 사회조사는 생략하는 지금의 관행이야말로, 병기가 더 엄격한 규범이라는 사실을 스스로 인정하고 있는 셈이다.