한국에서 여론조사 등급제는 왜 어려운가?

 

한국에서 여론조사 등급제는 왜 어려운가


미국의 폴스터 등급제가 작동하는 이유

538(FiveThirtyEight)이나 AAPOR 같은 기관이 조사회사를 등급화할 수 있는 건, 단순히 의지와 기준이 있어서가 아니다. 구조적 조건이 뒷받침되기 때문이다.

미국 선거조사에는 세 가지 응답자 베이스가 통용된다. 성인 전체(All Adults), 등록 유권자(RV, Registered Voters), 그리고 실제 투표 가능성이 높은 유권자(LV, Likely Voters). 선거가 임박할수록 LV 베이스가 핵심 예측 지표로 부각된다.

LV를 어떻게 정의하느냐는 기관마다 다르다. Gallup은 과거 투표 참여, 관심도, 등록 여부 등 7~8개 문항으로 점수를 매겨 커트라인을 정하고, NYT/Siena는 등록 데이터와 과거 투표 이력을 결합해 가중치로 처리한다. 중요한 건, 이 LV 베이스가 "예측치 vs 실제 결과" 비교를 깔끔하게 만들어준다는 점이다.

여기에 더해, 미국은 연방·주·지방 단위 선거가 연간 수백 건 쏟아진다. 조사회사별로 충분한 비교 관측치가 쌓이고, 방법론 정보는 표준화된 형식으로 공개되며, 538이 수십 년치 데이터를 아카이브로 관리한다.

등급제는 이 모든 조건 위에서 작동한다.

한국에서 같은 논리가 성립하지 않는 이유

비교 기준점이 없다

한국은 유권자 등록이 자동이다. 전 국민이 이미 등록 유권자이므로 RV 개념 자체가 없다. LV 필터를 도입한다 해도, "투표 의향 확실" 응답자를 걸러내는 것이 예측력을 얼마나 높이는지는 별도로 검증해야 할 문제다. 대선 투표율이 70~80%에 달하는 구조에서, "누가 나오느냐"의 변별력은 미국만큼 크지 않다.

선거 건수가 너무 적다

등급제의 논리는 충분한 반복 관측으로 편향과 분산을 추정하는 것이다. 한 조사회사가 대선에서 크게 틀렸을 때, 그것이 방법론 문제인지 그 선거의 특수성인지 구별하려면 반복 데이터가 필요하다. 그런데 한국의 전국 단위 선거는 대선·총선·지선 합쳐 2년에 한 번꼴이다. 회사별 비교 관측치가 현실적으로 n=3~5 수준에 머문다. 이 데이터로 등급을 산출하면 신뢰구간이 너무 넓어 의미가 없다.

오차 귀책이 불가능하다

공직선거법은 선거일 6일 전부터 조사 공표를 금지한다. 마지막으로 공표된 수치와 실제 결과 사이에 6일이라는 간격이 생긴다. 그 사이에 후보 단일화, 사퇴, 돌발 변수가 개입하면 조사 오차와 상황 오차를 분리할 방법이 없다. 오차의 귀책 자체가 불명확한 구조다.

그렇다면 정성적 평가로 보완하면 되지 않는가

여기서 핵심 질문이 나온다. 정량 평가가 어렵다면, 정성적 기준을 도입해 보완하면 되지 않을까?

물론 방법론적 투명성(응답률 공개 여부, 가중변수 명시 여부), 독립성·이해충돌(의뢰처 비중, 편향 패턴), 절차적 준수(심의위 규정 위반 이력) 같은 항목들은 기준을 만들 수 있다. 일부는 정량화도 가능하다.

그러나 정성 평가는 결국 "누가 평가하느냐" 문제로 귀결된다. 평가 주체가 업계와 이해관계가 없는 제3자여야 하는데, 한국의 현실에서 그 역할을 누가 맡을 수 있는지는 별도의 난제다. 538이 신뢰받는 이유 중 하나는 평가 주체의 독립성이다. 그 조건이 충족되지 않으면, 등급제는 외양만 있고 실질은 특정 기관을 배제하거나 보호하는 도구로 전락할 위험이 있다.

내 입장: 정량만 해야 한다, 그러나 한국에서 그 정량이 지금은 불가하다

나는 조사회사 평가는 정량적 기준으로만 이루어져야 한다고 생각한다. 정성이 끼어들면 심사위원회의 주관 평가가 되기 때문이다. 그런데 한국에서 그 정량이 구조적으로 성립하지 않는다.

  • LV 베이스 없음 → 비교 기준 불명확
  • 선거 건수 부족 → 통계적 유의성 없음
  • 공표 금지 기간 → 오차 귀책 불가
  • 단일화·사퇴 변수 → 노이즈 분리 불가

이 네 가지가 동시에 걸리는 한, 정량 등급제는 구조적으로 성립하지 않는다. 억지로 만들면 숫자의 외양을 한 주관 평가가 된다.

현실적 대안: 등급(Grade)이 아니라 인증(Certification)

그렇다면 한국에서 가능한 건 무엇인가. 나는 최소 기준 인증제가 현실에 맞는 형태라고 본다.

  • 이 조사는 응답률을 공개했는가
  • 가중변수를 명시했는가
  • 의뢰처를 공개했는가
  • 표본설계 방식을 기술했는가

이런 yes/no 항목들로 구성된 체크리스트 기반 인증이다. 등급을 매기는 게 아니라, 최소한의 투명성 기준을 충족했는지를 확인하는 것이다.

등급제는 "얼마나 잘하느냐"를 묻는다. 인증제는 "기본은 하느냐"를 묻는다. 지금 한국 여론조사 환경에서는 후자가 우선이다. 공시 의무 강화와 원데이터 공개가 선행되어야 그 위에 평가 체계를 논할 수 있다.

평가 체계의 수준은 데이터 인프라의 수준을 넘을 수 없다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

5점 척도 분석 시 (환산) 평균값이 최상일까?

이미지
 중간 보기가 없는 2점이나 4점의 경우는 긍정비율(찬성, 만족 등)을 가지고 주로 분석을 한다. 그러나 중간 보기가 있는 3점이나 (특히) 5점의 경우 긍정비율보다는 평균값(3점 or 5점 만점, 아니면 이를 100점으로 환산)을 많이 활용한다. 왜 일까? 아마도 중간 보기의 해석이 어려워서일거다.  그러나 최근에 통계청 2018 사회조사 결과를 보면서 5점 척도의 경우 평균값을 활용하지 않는다는 것을 알게 되었다. 심지어 평균값 자체를 산출하지 않는다고 했다. 척도 간 등간성이 확실하지 않은 상황에서 평균을 내는 것은 결과치를 왜곡할 수 있다는 이유에서였다. 물론 1점에서 5점 사이의 주관식 값으로 응답을 받은 거라면 평균을 낼 것이라고 했다. (이 기회에 저의 취재(?)를 응해주신 사회조사 담당 통계청 직원분께 감사의 말씀을...^^)  사실 10여년 간 5점 척도를 활용한 문항을 분석할 때 비율을 쓸지 평균을 쓸지 고민을 많이 했었다. 물론 선배 리서처들의 보고서에서 대부분 평균을 활용했길래 그걸 따라했었다. 그러나 오늘부터는 평균과 이별해야겠다.
자세한 내용 보기

이중차분법(DID)과 평행추세가정: 횡단 데이터로 정책 효과 측정하기

  서론: 시간의 흐름 속 ‘스냅샷’으로 정책 효과 측정하기, 횡단조사와 이중차분법(DID) 어떤 정책이 시행된 후, 그 효과를 과학적으로 측정하고 싶다고 가정해 봅시다. 가장 이상적인 방법은 정책의 영향을 받은 사람들과 받지 않은 사람들을 수년간 추적하는 종단조사(패널조사)를 실시하는 것입니다. 하지만 이는 막대한 비용과 시간이 소요되어 현실적으로 불가능한 경우가 많습니다. 그렇다면 우리에게 주어진 것이 특정 정책 시행 **‘전(before)’**과 **‘후(after)’**에 각각 실시된, 서로 다른 사람들을 대상으로 한 두 번의 횡단 웹서베이 데이터뿐이라면 어떨까요? 마치 특정 장소의 풍경을 다른 시간대에 찍은 두 장의 ‘스냅샷 사진’만 가지고 그곳에서 일어난 ‘변화의 원인’을 추론해야 하는 상황과 같습니다. 바로 이러한 제약 속에서 정책의 순수한 효과를 분리해내는 통계적 현미경이 바로 ‘이중차분법(DID)’입니다. 1. 분석을 위한 준비물: 필요한 데이터의 구조와 요건 횡단조사 데이터로 DID 분석을 수행하기 위해서는, 단순히 두 시점의 데이터가 있는 것만으로는 부족합니다. 다음과 같은 데이터 구조가 반드시 필요합니다. 두 개 이상의 횡단조사 데이터 : 정책 시행 전 과 후 , 최소 두 번의 조사가 필요합니다. 물론, 정책 시행 전 여러 시점의 데이터가 있다면 분석의 신뢰도는 훨씬 더 높아집니다. 동일한 표집틀과 모집단 : 각 시점의 조사는 동일한 모집단(예: 대한민국 성인)을 대상으로, 일관된 표집틀(예: 휴대전화 가상번호)을 사용하여 수행되어야 합니다. 처치집단(Treatment Group)과 통제집단(Control Group)의 구분 : 조사 데이터 내에, 정책의 영향을 받은 ‘처치집단’과 받지 않은 ‘통제집단’을 명확하게 구분할 수 있는 변수가 있어야 합니다. 예를 들어, ‘서울시’에만 특정 청년수당 정책이 도입되었다면, ‘거주 지역’ 변수를 통해 서울 거주자는 처치집단, 그 외 지역 거주자는 통제집단으로 나눌 수 있습니다. 일관된 결과변...
자세한 내용 보기

선거 여론조사 가중치 분석: 셀 가중 vs 림 가중, 무엇이 더 나은가?

  서론: 표본을 ‘유권자 전체’로 만드는 마법, 가중치와 두 가지 해법 선거여론조사는 보통 1,000여 명의 표본을 통해 수천만 명에 달하는 전체 유권자의 민심을 추정하는 작업입니다. 하지만 우리가 무작위로 추출한 1,000명의 인구통계학적 특성(성별, 연령, 지역 등)은 실제 유권자 전체의 구성비와 정확히 일치하지 않을 가능성이 높습니다. 예를 들어, 조사에 더 적극적인 60대 이상 응답자가 20대 응답자보다 더 많이 표집될 수 있습니다. 이때, 각 응답자에게 특정 ‘가중값’을 부여하여, 표본 내 각 그룹의 비율을 실제 유권자 비율과 동일하게 인위적으로 조정하는 과정을 **‘가중치 부여(Weighting)’**라고 합니다. 이는 마치 사진의 색감을 실제 풍경과 똑같이 맞추는 ‘색 보정’ 작업과 같습니다. 이 중요한 보정 작업을 수행하는 대표적인 두 가지 기법이 바로 셀 가중과 림 가중이며, 두 기법은 서로 다른 철학과 장단점을 가집니다. 1. 가장 직관적인 저울, 셀 가중(Cell Weighting)의 원리와 한계 셀 가중은 가장 이해하기 쉽고 직관적인 가중치 부여 방식입니다. 가중치를 부여하려는 모든 변수들을 동시에 교차시켜 다차원의 ‘셀(Cell)’을 만들고, 각 셀의 표본 비율을 모집단 비율과 일치시키는 방법입니다. 원리 : 한국 선거조사의 표준인 ‘성별-연령-지역’ 3가지 변수로 가중치를 준다고 가정해 봅시다. 셀 가중은 이 3가지 변수를 모두 결합한 ‘남자-20대-서울’, ‘여자-50대-경기/인천’과 같은 매우 구체적인 셀을 만듭니다. 그리고 각 셀마다 [실제 유권자 구성비(%)] / [표본 내 구성비(%)] 공식을 적용하여 가중값을 계산합니다. 예를 들어, 실제 ‘남자-20대-서울’ 유권자가 전체의 3%인데, 우리 표본에서는 2%만 차지했다면, 이 셀에 속한 모든 응답자에게는 3 / 2 = 1.5 의 가중치가 부여됩니다. 장점 : 원리가 명확하고, 각 셀의 인구 구성비를 정확히 알고 있으며, 셀마다 충분한 표본 수가 확보된다면 이론적으로...
자세한 내용 보기