미국 선거조사 방법론의 다양성은 자랑이 아니라 상처의 흔적이다

 

미국 선거조사 방법론의 다양성은 자랑이 아니라 상처의 흔적이다

— 그리고 한국 조사가 단조로워 보이는 진짜 이유

최근 미국 여론조사 기관들의 방법론을 하나씩 훑어볼 일이 있었다. AP-NORC의 AmeriSpeak, NYT/Siena의 live caller, YouGov의 매칭 패널, Verasight와 Echelon Insights의 voter file matched online, Atlas Intel의 RDR(Random Digital Recruitment)까지. 같은 1,000명짜리 전국 조사인데도 표본을 뽑는 방식이 기관마다 전혀 다르고, 가중치 변수도, 분석 단위도, 심지어 응답자에게 접근하는 매체조차 다 달랐다.

한국 조사자라면 한 번쯤 이런 생각이 들 수 있다. "미국은 정교하고, 우리는 단조롭다." 그러나 이 통념은 절반 이상 틀렸다고 본다. 미국 선거조사가 그렇게 다층적인 모습을 갖게 된 것은 정교함을 추구해서가 아니라, 단순하게 만들 수 있는 장치가 거의 하나도 없었기 때문이다. 다섯 가지 구조적 제약이 동시에 작동한 결과다.

첫째, 국가가 제공하는 sampling frame이 없다

이것이 가장 근본적이다. 한국에는 주민등록이 있고, 그 위에 통신 3사가 제공하는 안심번호 체계가 얹혀 있다. 전국 성인 sampling frame이 사실상 공공재로 존재한다. 미국은 그렇지 않다. 연방 차원의 주민등록 자체가 정치적 금기에 가깝고("national ID" 논쟁은 건국 이래 진행 중이다), 그 결과 프레임을 만드는 일이 통째로 민간 시장의 몫이 되었다. L2, Catalist, Aristotle 같은 회사들이 50개 주의 voter file을 각자 긁어모아 상품으로 판매하는 생태계가 그래서 자라났다. 기관마다 어느 회사의 voter file을 쓰느냐, 거기에 어떤 consumer data를 결합하느냐부터가 달라진다.

둘째, 연방제이기 때문에 분석 단위가 다층적이다

미국 선거는 전국 단위 지지율만으로는 아무것도 예측할 수 없다. Electoral College 때문에 주 단위, 그것도 swing state 6~7개의 개별 정밀 추정이 핵심이고, 하원은 435개 district, 상원은 33~34개 주를 동시에 다뤄야 한다. 한국처럼 "전국 1,000명"으로 끝나지 않는다. MRP(다층 회귀 사후층화) 같은 소지역 추정 기법이 미국 선거조사에서 그토록 중요해진 이유, Focaldata나 YouGov가 자기 강점으로 내세우는 능력이 결국 소지역 추정인 이유가 여기에 있다. 분석 단위의 다층성이 방법론의 다층성을 강제한다.

셋째, TCPA와 응답률 붕괴와 STIR/SHAKEN의 3중 펀치

이 부분은 구조적으로 보면 "전화 조사의 사형 선고"가 30년에 걸쳐 천천히 집행된 과정이다. 1991년 TCPA로 autodialer가 막히고, 2000년대 휴대폰 전환으로 유선 RDD가 붕괴하고, 2010년대에 응답률이 1% 아래로 내려가고, 2020년대에 STIR/SHAKEN으로 발신번호가 "Scam Likely"로 표시되기 시작했다. 각 단계마다 조사 기관들은 살아남기 위해 새 방법을 찾아냈고, 폐기된 방법은 거의 없이 누적되었다. 그래서 지금 live caller(NYT/Siena), ABS 우편 초대(AP-NORC), voter file matched online(Verasight), opt-in online panel(YouGov), 그리고 ad-tech 기반 RDR(Atlas)이 동시에 공존하는 희한한 지층이 형성된 것이다.

넷째, 규제 기관이 없으니 표준도 없다

한국에는 중앙선거여론조사심의위원회가 있다. 문항, 가중치 변수, 공표 기준까지 관장한다. 외부에서 보면 답답할 수 있지만, 이것이 조사 시장 전체의 하한선을 만들어준다. "최소한 이 정도는 지켜야 공표할 수 있다"는 것이 존재한다는 사실 자체가 시장 신뢰의 인프라다. 미국에는 그런 것이 없다. AAPOR은 협회이지 규제 기관이 아니고, Transparency Initiative도 자발적 가입이다. 그래서 방법론은 표준화가 아니라 차별화의 방향으로 진화한다. 각 기관이 "우리만의 모델"을 내세워야 언론사 계약을 따낼 수 있기 때문이다. 다양성은 그 부산물이다.

다섯째, 2016과 2020의 트라우마

2016년 위스콘신·미시간·펜실베이니아를 놓친 충격, 2020년 전국 지지율을 2~3%p씩 덜 잡은 충격. 이 두 번의 실패가 일종의 methodological arms race를 촉발했다. 원인 진단이 두 갈래로 나뉘었는데, 하나는 학력 가중치 누락(대졸자가 조사에 더 잘 응답하는 편향)이었고, 다른 하나는 differential non-response(특정 성향 유권자가 조사 자체를 거부하는 현상)였다. 이후 학력 가중치는 표준이 되었고, recalled vote weighting(직전 대선 투표 회상으로 표본을 보정)도 사실상 표준이 되었다. 그리고 기관마다 "우리는 이 부분을 더 정교하게 한다"고 주장하면서 차별화 압력은 한층 강해졌다.

그래서 한국 조사는 단조로운가

여기까지 보면 한국 조사 환경이 단조로워 보이는 것이 어떤 의미인지 다시 생각하게 된다. 한국 시스템은 사실 한 가지 굉장한 자산 위에 서 있다. 신뢰할 만한 전국 단위 프레임을 국가가 공공재로 제공한다는 것. 미국 조사자들이 평생 갖고 싶어 하는 그것이 우리에게는 그냥 있다. 안심번호는 단순히 편한 도구가 아니라, 통신사 가입자 데이터베이스라는 거의 완벽에 가까운 sampling frame에 합법적 접근권을 부여한 제도다. 미국이 voter file 회사 세 곳이 50개 주를 짜깁기해서 만드는 것을, 한국 조사자는 출발선에서 이미 갖고 시작한다.

NESDC의 규제도 마찬가지다. 외부에서는 답답해 보일 수 있지만, 시장 전체의 신뢰 하한선을 끌어올리는 인프라 역할을 분명히 한다. 미국이 전혀 갖지 못한 자산이다.

한국 조사가 단조로워 보이는 것은 방법론이 빈약해서가 아니라, 안정적인 인프라 위에서 변동 요인을 줄일 수 있기 때문이다. 미국식 다양성은 자랑이 아니라 어떤 면에서는 상처의 흔적이다. 과학을 빌려온 수준이 아니라, 기댈 곳이 없어서 떠밀려 과학을 발명해야 했던 케이스에 가깝다.

다만 우리가 안고 있는 도전은 다른 종류다

물론 한국 조사도 위기 없는 시스템은 아니다. 다만 그 위기가 미국과 같은 종류가 아니라는 점이 중요하다. 미국은 "프레임이 없어서 발명해야 한다"의 문제이고, 한국은 "프레임은 좋은데 그 위에서 잡히는 사람이 점점 편중된다"의 문제다. ARS 응답률 2~3%, 60대 이상 고관여층 과대표집, 그것을 가중치로 강제 보정하면서 발생하는 표본 불안정성. 이것은 안심번호가 해결해주는 종류의 문제가 아니다.

그래서 한국 조사가 다음 단계로 가려면 미국 방법론을 베끼는 것이 답이 아니다. 한국 인프라의 강점은 유지하면서 그 위에 무엇을 하나 더 올릴 것인가를 고민해야 한다. 한국형 master address file 논의도, 확률 기반 패널의 가능성도, 결국 같은 방향의 사고다.

비교는 항상 위험하다. 두 시스템을 놓고 "누가 더 잘하나"를 묻는 것은 게으른 질문이다. 더 나은 질문은 "각자 무엇을 다음 과제로 안고 있는가" 다. 미국이 화려해 보이는 것은 그만큼 기본기가 부서져 있기 때문이고, 한국이 단조로워 보이는 것은 그만큼 기본기가 단단하기 때문이다. 두 시스템은 같은 사다리의 위아래 칸이 아니라, 다른 제약 조건에 대한 다른 해법이다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

5점 척도 분석 시 (환산) 평균값이 최상일까?

이미지
 중간 보기가 없는 2점이나 4점의 경우는 긍정비율(찬성, 만족 등)을 가지고 주로 분석을 한다. 그러나 중간 보기가 있는 3점이나 (특히) 5점의 경우 긍정비율보다는 평균값(3점 or 5점 만점, 아니면 이를 100점으로 환산)을 많이 활용한다. 왜 일까? 아마도 중간 보기의 해석이 어려워서일거다.  그러나 최근에 통계청 2018 사회조사 결과를 보면서 5점 척도의 경우 평균값을 활용하지 않는다는 것을 알게 되었다. 심지어 평균값 자체를 산출하지 않는다고 했다. 척도 간 등간성이 확실하지 않은 상황에서 평균을 내는 것은 결과치를 왜곡할 수 있다는 이유에서였다. 물론 1점에서 5점 사이의 주관식 값으로 응답을 받은 거라면 평균을 낼 것이라고 했다. (이 기회에 저의 취재(?)를 응해주신 사회조사 담당 통계청 직원분께 감사의 말씀을...^^)  사실 10여년 간 5점 척도를 활용한 문항을 분석할 때 비율을 쓸지 평균을 쓸지 고민을 많이 했었다. 물론 선배 리서처들의 보고서에서 대부분 평균을 활용했길래 그걸 따라했었다. 그러나 오늘부터는 평균과 이별해야겠다.
자세한 내용 보기

이중차분법(DID)과 평행추세가정: 횡단 데이터로 정책 효과 측정하기

  서론: 시간의 흐름 속 ‘스냅샷’으로 정책 효과 측정하기, 횡단조사와 이중차분법(DID) 어떤 정책이 시행된 후, 그 효과를 과학적으로 측정하고 싶다고 가정해 봅시다. 가장 이상적인 방법은 정책의 영향을 받은 사람들과 받지 않은 사람들을 수년간 추적하는 종단조사(패널조사)를 실시하는 것입니다. 하지만 이는 막대한 비용과 시간이 소요되어 현실적으로 불가능한 경우가 많습니다. 그렇다면 우리에게 주어진 것이 특정 정책 시행 **‘전(before)’**과 **‘후(after)’**에 각각 실시된, 서로 다른 사람들을 대상으로 한 두 번의 횡단 웹서베이 데이터뿐이라면 어떨까요? 마치 특정 장소의 풍경을 다른 시간대에 찍은 두 장의 ‘스냅샷 사진’만 가지고 그곳에서 일어난 ‘변화의 원인’을 추론해야 하는 상황과 같습니다. 바로 이러한 제약 속에서 정책의 순수한 효과를 분리해내는 통계적 현미경이 바로 ‘이중차분법(DID)’입니다. 1. 분석을 위한 준비물: 필요한 데이터의 구조와 요건 횡단조사 데이터로 DID 분석을 수행하기 위해서는, 단순히 두 시점의 데이터가 있는 것만으로는 부족합니다. 다음과 같은 데이터 구조가 반드시 필요합니다. 두 개 이상의 횡단조사 데이터 : 정책 시행 전 과 후 , 최소 두 번의 조사가 필요합니다. 물론, 정책 시행 전 여러 시점의 데이터가 있다면 분석의 신뢰도는 훨씬 더 높아집니다. 동일한 표집틀과 모집단 : 각 시점의 조사는 동일한 모집단(예: 대한민국 성인)을 대상으로, 일관된 표집틀(예: 휴대전화 가상번호)을 사용하여 수행되어야 합니다. 처치집단(Treatment Group)과 통제집단(Control Group)의 구분 : 조사 데이터 내에, 정책의 영향을 받은 ‘처치집단’과 받지 않은 ‘통제집단’을 명확하게 구분할 수 있는 변수가 있어야 합니다. 예를 들어, ‘서울시’에만 특정 청년수당 정책이 도입되었다면, ‘거주 지역’ 변수를 통해 서울 거주자는 처치집단, 그 외 지역 거주자는 통제집단으로 나눌 수 있습니다. 일관된 결과변...
자세한 내용 보기

선거 여론조사 가중치 분석: 셀 가중 vs 림 가중, 무엇이 더 나은가?

  서론: 표본을 ‘유권자 전체’로 만드는 마법, 가중치와 두 가지 해법 선거여론조사는 보통 1,000여 명의 표본을 통해 수천만 명에 달하는 전체 유권자의 민심을 추정하는 작업입니다. 하지만 우리가 무작위로 추출한 1,000명의 인구통계학적 특성(성별, 연령, 지역 등)은 실제 유권자 전체의 구성비와 정확히 일치하지 않을 가능성이 높습니다. 예를 들어, 조사에 더 적극적인 60대 이상 응답자가 20대 응답자보다 더 많이 표집될 수 있습니다. 이때, 각 응답자에게 특정 ‘가중값’을 부여하여, 표본 내 각 그룹의 비율을 실제 유권자 비율과 동일하게 인위적으로 조정하는 과정을 **‘가중치 부여(Weighting)’**라고 합니다. 이는 마치 사진의 색감을 실제 풍경과 똑같이 맞추는 ‘색 보정’ 작업과 같습니다. 이 중요한 보정 작업을 수행하는 대표적인 두 가지 기법이 바로 셀 가중과 림 가중이며, 두 기법은 서로 다른 철학과 장단점을 가집니다. 1. 가장 직관적인 저울, 셀 가중(Cell Weighting)의 원리와 한계 셀 가중은 가장 이해하기 쉽고 직관적인 가중치 부여 방식입니다. 가중치를 부여하려는 모든 변수들을 동시에 교차시켜 다차원의 ‘셀(Cell)’을 만들고, 각 셀의 표본 비율을 모집단 비율과 일치시키는 방법입니다. 원리 : 한국 선거조사의 표준인 ‘성별-연령-지역’ 3가지 변수로 가중치를 준다고 가정해 봅시다. 셀 가중은 이 3가지 변수를 모두 결합한 ‘남자-20대-서울’, ‘여자-50대-경기/인천’과 같은 매우 구체적인 셀을 만듭니다. 그리고 각 셀마다 [실제 유권자 구성비(%)] / [표본 내 구성비(%)] 공식을 적용하여 가중값을 계산합니다. 예를 들어, 실제 ‘남자-20대-서울’ 유권자가 전체의 3%인데, 우리 표본에서는 2%만 차지했다면, 이 셀에 속한 모든 응답자에게는 3 / 2 = 1.5 의 가중치가 부여됩니다. 장점 : 원리가 명확하고, 각 셀의 인구 구성비를 정확히 알고 있으며, 셀마다 충분한 표본 수가 확보된다면 이론적으로...
자세한 내용 보기