오차범위 ±3.1%p 뒤에 숨은 또 하나의 얼굴

 

오차범위 ±3.1%p 뒤에 숨은 또 하나의 얼굴

— 지지율 3%인 정당의 진짜 오차범위는 얼마일까

앞선 글에서 오차범위 ±3.1%p가 상황에 따라 세 가지 얼굴을 가진다는 이야기를 했다. 한 후보 지지율을 볼 때와, 두 후보의 격차를 볼 때, 그리고 지난주와 이번주를 비교할 때가 모두 다르다는 내용이었다.

그런데 사실, 그 첫 번째 얼굴 안에도 또 하나의 얼굴이 숨어 있다. 같은 조사에서 뽑힌 숫자인데도, 지지율이 얼마냐에 따라 오차범위가 다르게 적용되어야 한다는 사실이다. 이건 교과서에는 한 줄로 지나가는데, 실제 기사에는 거의 반영되지 않는다.


기사에 적힌 ±3.1%p는 "최악의 경우"다

결론부터 말하면, 기사 하단에 적혀 있는 ±3.1%p는 지지율이 50%일 때의 값이다. 그리고 이건 모든 경우를 통틀어 가장 큰 오차범위다.

50%에서 멀어질수록, 다시 말해 아주 낮거나 아주 높은 지지율일수록 실제 오차범위는 작아진다. 숫자로 보면 이렇다.

지지율실제 오차범위 (1,000명 조사 기준)
50%±3.10%p
40% / 60%±3.04%p
30% / 70%±2.84%p
20% / 80%±2.48%p
10% / 90%±1.86%p
5% / 95%±1.35%p
3% / 97%±1.06%p
1% / 99%±0.62%p

50%일 때 ±3.10%p던 것이, 지지율 3%짜리 군소 후보에게는 ±1.06%p까지 줄어든다. 거의 3분의 1 수준이다.


왜 50%가 가장 불안한 숫자일까

직관적으로 생각해 보자. 상자 안에 빨간 공과 파란 공이 섞여 있다. 안을 들여다보지 않고 한 개씩 꺼내서 색깔을 맞혀 본다고 하자.

상자 안이 반반(50:50)일 때 다음에 꺼낼 공의 색깔이 뭘지 가장 예측하기 어렵다. 반반이라는 건 가장 애매한 상태니까.

빨간 공이 10%밖에 없다면 다음에 꺼낼 공은 거의 확실히 파란색이다. 예측하기 쉽다. 어쩌다 빨간 공이 나와도 전체 결과의 변동은 크지 않다.

빨간 공이 1%라면 거의 안 나온다. 100번 꺼내도 1개 정도. 변동할 여지 자체가 작다.

여론조사도 똑같다. 50% 지지율은 반반 상태라 1,000명을 뽑을 때마다 480명이 될지 520명이 될지 상대적으로 많이 흔들린다. 반면 지지율 3%는 거의 정해진 상태라 30명 근처에서 크게 벗어나기 어렵다. 그래서 낮은 지지율일수록 오차범위가 좁아지는 것이다.


이게 왜 중요한가

예를 들어 보자.

C 후보 지지율이 지난주 6% → 이번주 8%로 나왔다고 하자. 기사에는 "오차범위 ±3.1%p 안에서 변동"이라고 적힐 것이다. 많은 독자가 "그래봤자 오차 범위 내니까 의미 없네" 하고 넘어간다.

그런데 실제로 지지율 6~8% 수준에서 오차범위는 ±1.5%p 정도밖에 안 된다. 2%p 상승은 의미 있는 신호일 가능성이 높다는 뜻이다.

정의당이나 조국혁신당 같은 소수 정당도 마찬가지다. 지지율 3%인 정당이 4%가 됐다고 하자. ±3.1%p 기준으로 보면 "노이즈"다. 하지만 3% 수준의 진짜 오차범위는 약 ±1.06%p다. 1%p 변화도 의미 있게 볼 수 있는 상태라는 뜻이다.

그런데 관행적으로 모든 숫자에 ±3.1%p가 일괄 적용되다 보니, 군소 후보나 소수 정당의 유의미한 변동이 늘 "오차범위 내 변동"으로 묻혀 버린다. 이 때문에 일부 군소 후보 캠프에서는 "우리 지지율 올랐는데 기사에서 무시당한다"는 불만이 종종 나오기도 한다. 숫자로 보면 그 불만이 근거가 아예 없는 건 아니다.


그럼 왜 기사에는 ±3.1%p 하나만 적을까

가장 큰 이유는 관행과 편의성이다.

모든 문항에 대해 실제 오차범위를 하나하나 계산해서 적는 건 번거롭다. 게다가 하나의 조사에서도 문항이 수십 개면, 각 문항의 각 선택지마다 오차범위가 다 달라진다. 이걸 전부 표기하면 기사가 읽히지 않는다.

그래서 "최악의 경우를 가정한 상한선"을 쓰는 것이다. 실제 오차범위가 아무리 커도 이 값은 넘지 않으니, 안전한 기준이 된다. 여심위 공표 기준도 이 값으로 통일되어 있다.

문제는 이 관행이 모든 숫자에 대해 실제보다 과도하게 큰 오차범위를 부여한다는 점이다. 결과적으로 작은 숫자의 유의미한 변동이 묻히고, 독자에게는 "대부분 오차범위 안이라 아무 의미 없다"는 인상이 강화된다. 정보 손실이 의외로 크다.


그럼 어떻게 읽어야 할까

일반 독자가 매번 공식을 계산하며 기사를 읽을 수는 없다. 대신 대략의 감만 잡고 있어도 충분하다.

지지율이 50% 근처일수록 — 기사의 ±3.1%p를 그대로 적용.

지지율이 20~30% 수준 — 실제로는 ±2.5~2.9%p 정도. 기사 오차범위보다 약간 좁다.

지지율이 10% 이하 — 실제 오차범위는 ±1~2%p 수준. 기사에 적힌 값의 절반 이하다. 작은 변동도 그냥 무시하지 말 것.

지지율이 3% 이하 — 실제 오차범위 ±1%p 이하. 1%p 수준의 변화도 유의미한 신호일 수 있음.

특히 군소 후보나 소수 정당의 지지율을 볼 때는, 기사 하단의 ±3.1%p를 그대로 적용하지 말고 실제 오차범위는 그보다 훨씬 좁다는 걸 기억해야 한다. 숫자가 작을수록 작은 변화도 중요해진다는 말이다.


정리

구분기사에 적힌 오차범위실제 오차범위
양대 정당 지지율 (40~50%)±3.1%p거의 동일
중소 정당 지지율 (10~20%)±3.1%p약 ±1.9~2.5%p
군소 후보 지지율 (3~5%)±3.1%p약 ±1.0~1.4%p

같은 조사, 같은 표본, 같은 1,000명인데도 어느 숫자를 보느냐에 따라 오차범위는 달라진다. 이것이 ±3.1%p라는 숫자 뒤에 숨어 있는, 좀처럼 드러나지 않는 얼굴이다.


오차범위는 하나의 숫자가 아니다. 장면에 따라(앞선 글의 세 가지 얼굴), 그리고 보고 있는 지지율의 크기에 따라 모습을 바꾼다.

이걸 알고 있으면, 같은 여론조사 기사를 읽어도 훨씬 많은 것을 볼 수 있다. 특히 군소 후보·소수 정당·소수 응답의 변화를 읽을 때 그렇다. 거대 양당 지지율만 보면 ±3.1%p가 맞지만, 시선을 가장자리로 옮기면 그 숫자는 과도하게 크다.

여론조사에서 "작은 숫자"는 실제로는 더 단단한 숫자일 수 있다. 이 점만 기억해 둬도, 기사에 담긴 숫자 중 적지 않은 정보를 구해낼 수 있다.

댓글

이 블로그의 인기 게시물

5점 척도 분석 시 (환산) 평균값이 최상일까?

이중차분법(DID)과 평행추세가정: 횡단 데이터로 정책 효과 측정하기

선거 여론조사 가중치 분석: 셀 가중 vs 림 가중, 무엇이 더 나은가?