메소드서베이

  [심리적 맥락 문항 해부 ④] 선택지 하나가 47%를 27%로 바꾼다 — Navigator의 3지선다 실험과 이분법의 덫 지금까지 세 편에 걸쳐 찬반 이분법이 놓치는 층위를 분리하는 문항 설계를 살펴봤다. 1편(AP-NORC)에서는 찬반 일차원 위에 "너무 멀리 / 적당 / 부족"이라는 기준점을 심는 3점 척도, 2편(Zogby)에서는 지지를 시간축 위에 펼치는 시나리오 분기, 3편(Quinnipiac)에서는 의견에서 증언으로 측정 대상을 옮기는 관계망 문항. 세 설계 모두 찬반 이분법이 뭉뚱그려 놓은 층위 를 각기 다른 축에서 분리해 냈다. 4편에서는 네 번째 축을 본다. 이번에는 문항 주변을 재설계하는 것이 아니라, 응답 선택지 그 자체를 재구성 하는 설계다. 2026년 2월 Navigator Research의 ICE 조사가 이 사례를 한 보고서 안에서 극적인 방식으로 보여준다. 같은 이슈를 두 가지 방식으로 물었을 때 결과가 20%p 이동 하는 장면이다. 조사의 배경 Navigator Research는 2026년 1월 29일부터 2월 1일까지 전국 등록 유권자 1,000명(+히스패닉·흑인·AAPI·무당층 오버샘플)을 대상으로 온라인 조사를 실시했다(오차범위 ±3.1%p). 조사는 Global Strategy Group이 수행했고, 응답자는 유권자 명부 매칭으로 검증된 opt-in 온라인 패널에서 모집됐다. 시점은 3편에서 다룬 Quinnipiac 조사와 거의 겹친다 — 알렉스 프레티와 르네 굿의 사망 사건 직후, 미니애폴리스발 ICE 논란이 정점에 있던 시기. 보고서는 ICE의 호감도가 계속 악화되고 있음을 보여준다. 호감 36% / 비호감 58%, 순점수 -22. 2025년 6월의 -8에서 반년 만에 급락했다. 알렉스 프레티·르네 굿 사건에 대한 인지도는 83%로, 평소 뉴스를 적극적으로 소비하지 않는 층에서도 71%가 알고 있었다. Quinnipiac 조사와 마찬가지로 행정부에 불리한 수치가 대부분이다. 그러나 이 보...

  [심리적 맥락 문항 해부 ③] 의견이 아니라 목격을 묻는다 — Quinnipiac의 'Living in Fear' 문항과 정치의 개인화 여론조사 문항 대부분은 응답자의 의견 을 측정한다. "이 정책에 찬성합니까?", "대통령의 국정 운영을 어떻게 평가합니까?", "이 사건에 대한 행정부의 설명은 정직합니까?" — 모두 응답자의 판단, 평가, 해석을 요구하는 질문이다. 1편에서 다룬 AP-NORC의 3점 척도는 의견의 방향과 강도 를 분리하는 설계였고, 2편의 Zogby 시간 시나리오 분기는 의견을 시간축 위에 펼치는 설계였다. 두 기법 모두 측정 대상은 여전히 의견이다. 그런데 여론조사에는 전혀 다른 축이 하나 더 있다. 의견이 아니라 증언 을 묻는 문항이다. 2026년 2월 Quinnipiac 조사의 "living in fear" 문항이 이 제3의 축을 보여주는 가장 선명한 사례다. 조사의 배경 2026년 1월 24일, 미니애폴리스에서 알렉스 프레티라는 남성이 ICE 요원의 총격으로 사망했다. 영상이 공개되며 전국적 논란이 일었다. Quinnipiac 대학은 사건 닷새 뒤인 1월 29일부터 2월 2일까지 전국 등록 유권자 1,191명을 대상으로 전화면접 조사를 실시했다(오차범위 ±3.6%p, 디자인 효과 포함). RDD 표집 + live caller 방식 — 이 연재에서 지금까지 다룬 AP-NORC의 확률 패널이나 Zogby의 온라인 패널과는 또 다른, 가장 전통적인 정통 방법론이다. 보고서의 주요 발견들은 대부분 행정부에 불리한 수치였다. 트럼프의 이민 정책 집행이 "너무 가혹하다"가 60%, "미국을 덜 안전하게 만든다"가 51%, 알렉스 프레티 사건에 대한 행정부의 설명이 "정직하지 않다"가 61%, 국토안보부 장관 Kristi Noem의 해임 요구가 58%. 여기까지만 보면 1편·2편에서 본 의견 ...

  [심리적 맥락 문항 해부 ②] 지지에는 유효기간이 있다 — Zogby의 시간 시나리오 분기가 드러내는 정치적 곡선 여론조사 문항이 "당신은 이 정책에 찬성하십니까, 반대하십니까?"라고 물을 때, 돌아오는 "찬성"이라는 답에는 시한이 없다. 오늘 찬성한 사람은 내일도, 6개월 뒤에도, 3년 뒤에도 찬성하는 사람으로 집계된다. 그러나 현실 정치에서 모든 지지에는 유효기간이 있다. 6개월 견디는 지지와 3년 견디는 지지는 같은 단어로 표현되지만 전혀 다른 것이다. 이 유효기간을 문항으로 측정할 수 있을까. 2026년 3월 Zogby의 이란전쟁 조사가 그 사례를 보여준다. 조사의 시점과 맥락 John Zogby Strategies는 2026년 3월 18일 밤(이란 전쟁 발발 2주 차)에 미국 유권자 대상 조사를 실시했다. 트럼프 대통령의 전체 지지율은 44%, 전쟁 처리 지지율은 43%. 언뜻 평이한 수치다. 특히 공화당 기반에서는 여전히 상당한 결집이 유지되고 있었다. 흔한 해석이라면 "대통령이 전쟁 초기 결집 효과(rally-'round-the-flag)를 누리고 있다"로 정리됐을 것이다. 그런데 Zogby 부자는 지지율 몇 개로 보고서를 끝내지 않았다. 대신 같은 이슈에 대해 응답자의 답을 점점 더 구체적인 조건 아래로 몰아넣는 드릴다운(drill-down) 설계를 썼다. Jeremy Zogby는 팟캐스트에서 설계 철학을 이렇게 설명한다. "I designed questions to start broad and then drill down." 문항을 넓게 시작해서 점점 좁혀 들어간다. 그 목적은 단순하다. 응답자가 처음 무심코 던진 '찬성'이 구체적 조건을 마주했을 때 어떻게 변하는지를 측정하는 것 이다. 일차 질문: 지상군 투입 찬반 첫 질문은 평범했다. "미국이 이란에 지상군(boots on the ground)을 투입하는 것을 지지합...

  [심리적 맥락 문항 해부 ①] '너무 멀리 나갔다'는 반대가 아니다 — AP-NORC의 3점 척도가 드러내는 정치적 지형 미국 여론조사를 읽다 보면 같은 구조의 문항이 반복적으로 등장하는 것을 알게 된다. 정책에 대한 찬성과 반대를 묻는 대신 "너무 멀리 나갔다(gone too far) / 적당하다(about right) / 충분하지 않다(not far enough)"의 3점 척도로 묻는 문항이다. 언뜻 평범해 보인다. 그러나 이 문항이 하는 일은 찬반 척도로는 결코 잡을 수 없는 층위를 드러내는 것이다. 2026년 2월 AP-NORC 조사를 사례로 그 구조를 해부해 보자. 실제 문항과 수치 AP-NORC가 2026년 2월 5~8일에 실시한 조사(AmeriSpeak 확률패널, n=1,156)는 트럼프 행정부의 네 가지 이민 관련 조치에 동일한 3점 척도를 적용했다. 문항 문구는 이렇다. "When it comes to each of the following, would you say Donald Trump has gone too far, not gone far enough, or been about right?" 네 개 항목에 대한 응답 분포는 다음과 같다. 조치 너무 멀리 적당하다 충분하지 않다 미국 도시에 연방 이민 요원 투입 62% 26% 10% 미국 도시 시위 현장에 연방 법 집행 투입 61% 25% 12% 합법 이민 제한 54% 34% 11% 불법체류자 추방 52% 32% 14% "6 in 10 think Trump has gone too far"라는 보도 제목은 첫 행의 62%에서 나왔다. 여기까지는 흔한 요약이다. 그러나 이 수치를 "반대 62%"로 번역하는 순간, 이 조사가 측정한 것의 절반을 잃는다. 찬반 척도가 놓치는 것 동일한 쟁점을 "당신은 연방 이민 요원의 ...

  한국에서 여론조사 등급제는 왜 어려운가 미국의 폴스터 등급제가 작동하는 이유 538(FiveThirtyEight)이나 AAPOR 같은 기관이 조사회사를 등급화할 수 있는 건, 단순히 의지와 기준이 있어서가 아니다. 구조적 조건이 뒷받침되기 때문이다. 미국 선거조사에는 세 가지 응답자 베이스가 통용된다. 성인 전체(All Adults), 등록 유권자(RV, Registered Voters), 그리고 실제 투표 가능성이 높은 유권자(LV, Likely Voters). 선거가 임박할수록 LV 베이스가 핵심 예측 지표로 부각된다. LV를 어떻게 정의하느냐는 기관마다 다르다. Gallup은 과거 투표 참여, 관심도, 등록 여부 등 7~8개 문항으로 점수를 매겨 커트라인을 정하고, NYT/Siena는 등록 데이터와 과거 투표 이력을 결합해 가중치로 처리한다. 중요한 건, 이 LV 베이스가 "예측치 vs 실제 결과" 비교를 깔끔하게 만들어준다는 점이다. 여기에 더해, 미국은 연방·주·지방 단위 선거가 연간 수백 건 쏟아진다. 조사회사별로 충분한 비교 관측치가 쌓이고, 방법론 정보는 표준화된 형식으로 공개되며, 538이 수십 년치 데이터를 아카이브로 관리한다. 등급제는 이 모든 조건 위에서 작동한다. 한국에서 같은 논리가 성립하지 않는 이유 비교 기준점이 없다 한국은 유권자 등록이 자동이다. 전 국민이 이미 등록 유권자이므로 RV 개념 자체가 없다. LV 필터를 도입한다 해도, "투표 의향 확실" 응답자를 걸러내는 것이 예측력을 얼마나 높이는지는 별도로 검증해야 할 문제다. 대선 투표율이 70~80%에 달하는 구조에서, "누가 나오느냐"의 변별력은 미국만큼 크지 않다. 선거 건수가 너무 적다 등급제의 논리는 충분한 반복 관측으로 편향과 분산을 추정 하는 것이다. 한 조사회사가 대선에서 크게 틀렸을 때, 그것이 방법론 문제인지 그 선거의 특수성인지 구별하려면 반복 데이터가 필요하다. 그런데 한국...

  미국 선거조사 방법론의 다양성은 자랑이 아니라 상처의 흔적이다 — 그리고 한국 조사가 단조로워 보이는 진짜 이유 최근 미국 여론조사 기관들의 방법론을 하나씩 훑어볼 일이 있었다. AP-NORC의 AmeriSpeak, NYT/Siena의 live caller, YouGov의 매칭 패널, Verasight와 Echelon Insights의 voter file matched online, Atlas Intel의 RDR(Random Digital Recruitment)까지. 같은 1,000명짜리 전국 조사인데도 표본을 뽑는 방식이 기관마다 전혀 다르고, 가중치 변수도, 분석 단위도, 심지어 응답자에게 접근하는 매체조차 다 달랐다. 한국 조사자라면 한 번쯤 이런 생각이 들 수 있다. "미국은 정교하고, 우리는 단조롭다." 그러나 이 통념은 절반 이상 틀렸다고 본다. 미국 선거조사가 그렇게 다층적인 모습을 갖게 된 것은 정교함을 추구해서가 아니라, 단순하게 만들 수 있는 장치가 거의 하나도 없었기 때문 이다. 다섯 가지 구조적 제약이 동시에 작동한 결과다. 첫째, 국가가 제공하는 sampling frame이 없다 이것이 가장 근본적이다. 한국에는 주민등록이 있고, 그 위에 통신 3사가 제공하는 안심번호 체계가 얹혀 있다. 전국 성인 sampling frame이 사실상 공공재로 존재한다. 미국은 그렇지 않다. 연방 차원의 주민등록 자체가 정치적 금기에 가깝고("national ID" 논쟁은 건국 이래 진행 중이다), 그 결과 프레임을 만드는 일이 통째로 민간 시장의 몫이 되었다. L2, Catalist, Aristotle 같은 회사들이 50개 주의 voter file을 각자 긁어모아 상품으로 판매하는 생태계가 그래서 자라났다. 기관마다 어느 회사의 voter file을 쓰느냐, 거기에 어떤 consumer data를 결합하느냐부터가 달라진다. 둘째, 연방제이기 때문에 분석 단위가 다층적이다 미국 선거는 전국 단위 지지율만...