[심리적 맥락 문항 해부 ④] 선택지 하나가 47%를 27%로 바꾼다

— Navigator의 3지선다 실험과 이분법의 덫

지금까지 세 편에 걸쳐 찬반 이분법이 놓치는 층위를 분리하는 문항 설계를 살펴봤다. 1편(AP-NORC)에서는 찬반 일차원 위에 "너무 멀리 / 적당 / 부족"이라는 기준점을 심는 3점 척도, 2편(Zogby)에서는 지지를 시간축 위에 펼치는 시나리오 분기, 3편(Quinnipiac)에서는 의견에서 증언으로 측정 대상을 옮기는 관계망 문항. 세 설계 모두 찬반 이분법이 뭉뚱그려 놓은 층위를 각기 다른 축에서 분리해 냈다.

4편에서는 네 번째 축을 본다. 이번에는 문항 주변을 재설계하는 것이 아니라, 응답 선택지 그 자체를 재구성하는 설계다. 2026년 2월 Navigator Research의 ICE 조사가 이 사례를 한 보고서 안에서 극적인 방식으로 보여준다. 같은 이슈를 두 가지 방식으로 물었을 때 결과가 20%p 이동하는 장면이다.

조사의 배경

Navigator Research는 2026년 1월 29일부터 2월 1일까지 전국 등록 유권자 1,000명(+히스패닉·흑인·AAPI·무당층 오버샘플)을 대상으로 온라인 조사를 실시했다(오차범위 ±3.1%p). 조사는 Global Strategy Group이 수행했고, 응답자는 유권자 명부 매칭으로 검증된 opt-in 온라인 패널에서 모집됐다. 시점은 3편에서 다룬 Quinnipiac 조사와 거의 겹친다 — 알렉스 프레티와 르네 굿의 사망 사건 직후, 미니애폴리스발 ICE 논란이 정점에 있던 시기.

보고서는 ICE의 호감도가 계속 악화되고 있음을 보여준다. 호감 36% / 비호감 58%, 순점수 -22. 2025년 6월의 -8에서 반년 만에 급락했다. 알렉스 프레티·르네 굿 사건에 대한 인지도는 83%로, 평소 뉴스를 적극적으로 소비하지 않는 층에서도 71%가 알고 있었다. Quinnipiac 조사와 마찬가지로 행정부에 불리한 수치가 대부분이다.

그러나 이 보고서의 핵심은 다른 곳에 있다. ICE의 운명 자체를 어떻게 할 것인가에 대한 두 가지 질문이다.

버전 1: 이분법 — "폐지에 찬성합니까?"

첫 번째 질문은 간단하다. "ICE 폐지에 찬성합니까, 반대합니까?"

• 찬성: 47%
• 반대: 45%
• 찬성-반대 격차: 2%p

팽팽한 균형. 언뜻 "미국이 ICE 문제에서 반으로 쪼개졌다"는 서사에 맞는 수치다. 민주당 지지자로 좁히면 74%가 폐지에 찬성한다. 히스패닉 55%, 18~34세 53%, 백인 여성 47%가 같은 답을 했다. 여기서 보고서를 끝냈다면 헤드라인은 "미국의 절반이 ICE 폐지를 지지한다"가 됐을 것이다. 이 문장은 문법적으로 완결되고, 정치적으로 자극적이며, 기사화되기 좋다.

버전 2: 3지선다 — "폐지 / 개혁 / 유지"

그런데 Navigator는 같은 응답자 표본에 같은 이슈를 한 번 더 물었다. 이번에는 선택지를 세 개로 늘려서.

"ICE에 대해 당신의 견해에 가장 가까운 것은? — 폐지한다 / 근본적으로 개혁한다(significant reforms) / 현재대로 유지한다"

• 근본 개혁: 43%
• 폐지: 27%
• 현재대로 유지: 24%

같은 이슈, 같은 응답자 집단. 그런데 "폐지" 지지가 47%에서 27%로 20%p 증발했다. 그리고 "근본 개혁"이라는 이전에는 존재하지 않았던 선택지가 가장 큰 집단이 됐다.

민주당 내부의 변화는 더 극적이다.

• 이분법: 민주당 폐지 찬성 74%
• 3지선다: 민주당 폐지 49% / 개혁 44% / 유지 3%

74%에서 49%로 25%p 감소. 민주당 내부에서도 "폐지만이 답"은 절반에 턱걸이하고, 개혁파가 거의 같은 비율로 존재한다는 사실이 드러난다. 이분법에서는 완전히 은폐됐던 당내 균열이다.

이 변화는 무엇을 의미하는가

핵심은 이거다. 응답자는 마음을 바꾸지 않았다. 같은 조사, 같은 표본, 거의 같은 시점. 바뀐 것은 오직 선택 공간의 구조다.

이분법에서 "폐지 찬성"으로 집계된 47% 중 상당수는, 사실 "ICE에 심각한 문제가 있으니 근본적 변화가 필요하다"는 생각을 했을 뿐이다. 그런데 이분법은 그 생각을 표현할 유일한 출구로 "폐지"를 제시한다. 찬성 아니면 반대, 그 외의 선택지는 없다. 결과적으로 "개혁을 원하지만 폐지까지는 아닌" 층이 "찬성" 박스로 몰려 들어간다. 그들이 보기엔 "반대(=현행 유지)"보다는 "찬성"이 자기 마음에 조금이라도 가까우니까.

3지선다가 "근본 개혁"이라는 출구를 열어주자 그들 중 다수가 그리로 이동한다. 47%에서 27%로 감소한 20%p가 정확히 그 이동의 규모다. 동일한 기저 태도가 선택지 구조에 따라 전혀 다르게 집계된 것이다.

이것은 RAS(Receive-Accept-Sample) 모델의 또 다른 실증이기도 하다. 선택지 자체가 응답자의 고려사항 활성화 구조를 바꾼다. "폐지할 것인가만 말하세요"라고 물으면 응답자 머릿속에 "ICE의 문제점"이라는 고려사항만 활성화된다. "폐지/개혁/유지 중 고르세요"라고 물으면 "문제점 + 대안 + 현 상황"이라는 세 고려사항이 동시에 활성화된다. 활성화되는 고려사항 집합이 달라지면 응답도 달라진다. 여론이 출렁인 게 아니라, 측정 도구가 다른 부분을 보여준 것이다.

이분법의 덫

여기서 한 걸음 더 나가면 불편한 결론에 도달한다. 우리가 "양극화된 여론"이라고 부르는 많은 현상이 사실은 설문 도구가 만들어낸 산물일 수 있다는 것이다.

찬반 이분법은 응답자의 복잡한 태도를 두 개의 박스 중 하나에 강제 배정한다. 그 결과 박스 안의 응답자 집단이 인위적으로 동질화된다. "폐지 찬성 74%"는 단일한 정치적 의지처럼 보이지만, 선택지 하나를 추가하자 그게 두 개의 전혀 다른 의지(폐지파 49% + 개혁파 44%)로 쪼개진다. 이분법은 없는 합의를 있는 것처럼 보이게 만든다.

여론조사 결과가 극단화되어 보이는 이유의 일부는 이슈 자체가 아니라 선택지 설계에 있다. 중간 지대를 제공하지 않는 문항은 중간 지대의 사람들을 양극단 중 하나로 억지로 밀어 넣는다. 언론은 그 수치를 "국민이 둘로 쪼개졌다"고 보도한다. 그리고 정치권은 그 보도를 근거로 더 극단적인 입장을 취한다. 피드백 루프가 성립한다. 출발점은 문항 하나의 선택지가 두 개였다는 사소해 보이는 사실이다.

주의할 점: 3지선다도 중립이 아니다

이 이야기를 여기서 끝내면 안 된다. 4편에서 가장 중요한 건 바로 이 부분이다. 3지선다가 "더 정확한 측정"인 것은 아니다.

첫째, 중간 선택지를 추가하면 도피처가 생긴다. "잘 모르겠으면 일단 개혁에 찍는" 회피 응답이 섞여 들어갈 수 있다. "significant reforms"라는 표현이 얼마나 구체적인가에 따라 이 회피 효과의 크기가 달라진다.

둘째, 더 근본적인 문제가 있다. Navigator Research는 정치적으로 중립적인 조사 기관이 아니다. 이 보고서를 수행한 Global Strategy Group은 민주당 친화적 전략 회사다. Navigator 자체도 자사 보고서를 "Message Guidance(메시징 가이드)"로 분류한다. 즉 이 보고서의 목적은 단순한 여론 측정이 아니라, 민주당과 진보 진영이 ICE 논쟁에서 어떤 프레임으로 말해야 하는지에 대한 실무적 가이드다. 그리고 "개혁"이라는 선택지가 다수 의견으로 드러나는 것은 정확히 그 메시징 전략에 부합한다.

이 사실을 알고 나면 3지선다 자체가 중립적 설계가 아니라는 것이 분명해진다. "폐지는 과격하고, 유지는 수용 불가능하니, 개혁이 합리적 중간이다"라는 프레임 자체가 3지선다 구조에 이미 심겨 있다. 만약 다른 조사 기관이 같은 이슈를 "폐지 / 대폭 축소 / 현재 기능 유지 / 권한 확대" 라는 4지선다로 물었다면, 이번에는 "대폭 축소"가 가장 큰 집단이 됐을 가능성이 높다. 선택지의 개수만이 아니라 어떤 선택지를 넣느냐 자체가 이미 정치적 결정이다.

그래서 4편의 교훈은 두 층으로 읽어야 한다. 표층: 이분법은 중간 지대를 가리니 선택지를 세분화하는 것이 더 많은 정보를 준다. 심층: 선택지 세분화 자체가 중립적 행위가 아니며, 어떤 층을 어떻게 이름 붙이느냐가 결과를 결정한다. 선택지 재설계는 "더 정확한 측정"이 아니라 "다른 측정"이다. 그리고 그 "다른 측정"을 선택하는 순간 조사자는 이미 한 걸음 정치적 발언을 한 셈이다.

한국 실무자를 위한 함의

한국 여론조사에서 찬반 이분법은 거의 표준에 가깝다. 사형제, 부동산 보유세, 징벌적 손해배상제, 국가보안법, 종합부동산세, 의대 정원 확대, 연금 개혁, 원전 정책 — 이슈의 종류를 가리지 않고 대부분 "찬성/반대" 두 박스로 측정된다. 그런데 이 이슈들 대부분에서 한국 유권자의 다수는 이분법이 제공하지 않는 중간 지대에 있을 가능성이 높다.

의대 정원을 예로 들어보자. "의대 정원 확대에 찬성하십니까, 반대하십니까?"로 물으면 찬성이 우세하게 나올 것이다. 그러나 "현재 규모 유지 / 소폭 확대 / 대폭 확대 / 축소" 로 세분화하면 전혀 다른 지형이 드러난다. 아마도 "소폭 확대" 또는 "단계적 확대"가 가장 큰 집단일 것이고, "대폭 확대"와 "현재 유지"는 각각 양극으로 쪼개질 것이다. 이분법으로 포착한 "찬성 63%"는 이 복잡한 지형을 "찬성" 박스 하나로 뭉뚱그린 결과다.

국민연금 개혁, 부동산 정책, 원전 확대·축소, 사형제 폐지 — 모두 같은 분석이 가능하다. 한국 정치 담론이 반복적으로 "국민의 의사가 이쪽/저쪽으로 기울었다"는 단순 서사로 흐르는 이유의 일부는 바로 이 이분법 설계에 있다.

그러나 4편에서 본 두 번째 교훈을 잊으면 안 된다. 3지선다나 4지선다로 바꾼다고 해서 그 조사가 자동으로 "더 중립적"이 되는 것은 아니다. 오히려 선택지를 설계하는 순간 조사자는 어떤 입장을 "중도"로 명명할 것인지, 어떤 입장을 "극단"으로 배치할 것인지를 결정하게 된다. 이 결정 자체가 이미 정치적이다. 한국 조사자가 선택지 세분화 기법을 도입할 때 가장 먼저 던져야 할 질문은 이것이다. "내가 중간 선택지로 넣는 이 표현은 누구의 언어인가?"

네 편을 관통하는 지도

지금까지 네 편에 걸쳐 본 문항 설계를 하나의 지도에 올리면 이렇다.

• 1편 (AP-NORC): 찬반 일차원 위에 "현재 집행 수준"이라는 기준점 심기 — 척도의 재정의.
• 2편 (Zogby): 지지라는 단어를 시간축 위에 펼치기 — 시간 차원의 추가.
• 3편 (Quinnipiac): 의견에서 증언으로 측정 대상 옮기기 — 측정 대상의 교체.
• 4편 (Navigator): 선택지 구조 자체 재설계 — 응답 공간의 재구성.

네 설계 모두 찬반 이분법이 뭉뚱그려 놓은 층위를 각기 다른 축에서 분리한다. 그리고 네 편 모두 공통적으로 보여주는 교훈이 있다. "한 점의 수치"는 결코 중립적인 측정이 아니라는 것. 문항 설계의 매 순간이 선택이고, 그 선택이 결과를 만든다. 조사자가 할 수 있는 가장 정직한 일은 그 선택을 숨기지 않고 드러내는 것이다.

다음 편에서는 축을 한 번 더 바꾼다. NYT/Siena의 2026년 1월 조사에서 쓰인 "나는 내가 마땅히 누려야 한다고 생각하는 삶을 감당할 수 없다" 문항을 해부할 것이다. 이 문항은 경제 만족도가 아니라 주관적 박탈감(relative deprivation) 이라는 전혀 다른 구성개념을 측정한다. Samuel Stouffer가 1949년에 처음 정식화한 고전 개념이 현대 여론조사 문항으로 어떻게 재탄생하는지, 그 경로를 따라가 본다.

 

[심리적 맥락 문항 해부 ③] 의견이 아니라 목격을 묻는다

— Quinnipiac의 'Living in Fear' 문항과 정치의 개인화

여론조사 문항 대부분은 응답자의 의견을 측정한다. "이 정책에 찬성합니까?", "대통령의 국정 운영을 어떻게 평가합니까?", "이 사건에 대한 행정부의 설명은 정직합니까?" — 모두 응답자의 판단, 평가, 해석을 요구하는 질문이다. 1편에서 다룬 AP-NORC의 3점 척도는 의견의 방향과 강도를 분리하는 설계였고, 2편의 Zogby 시간 시나리오 분기는 의견을 시간축 위에 펼치는 설계였다. 두 기법 모두 측정 대상은 여전히 의견이다.

그런데 여론조사에는 전혀 다른 축이 하나 더 있다. 의견이 아니라 증언을 묻는 문항이다. 2026년 2월 Quinnipiac 조사의 "living in fear" 문항이 이 제3의 축을 보여주는 가장 선명한 사례다.

조사의 배경

2026년 1월 24일, 미니애폴리스에서 알렉스 프레티라는 남성이 ICE 요원의 총격으로 사망했다. 영상이 공개되며 전국적 논란이 일었다. Quinnipiac 대학은 사건 닷새 뒤인 1월 29일부터 2월 2일까지 전국 등록 유권자 1,191명을 대상으로 전화면접 조사를 실시했다(오차범위 ±3.6%p, 디자인 효과 포함). RDD 표집 + live caller 방식 — 이 연재에서 지금까지 다룬 AP-NORC의 확률 패널이나 Zogby의 온라인 패널과는 또 다른, 가장 전통적인 정통 방법론이다.

보고서의 주요 발견들은 대부분 행정부에 불리한 수치였다. 트럼프의 이민 정책 집행이 "너무 가혹하다"가 60%, "미국을 덜 안전하게 만든다"가 51%, 알렉스 프레티 사건에 대한 행정부의 설명이 "정직하지 않다"가 61%, 국토안보부 장관 Kristi Noem의 해임 요구가 58%. 여기까지만 보면 1편·2편에서 본 의견 측정의 연장선이다.

그러나 이 보고서의 21번 문항은 다른 축을 건드린다.

핵심 문항: 실제 문구와 수치

"Thinking about people in your family, community, work or school, would you say you know someone who is living in fear because of the Trump administration's deportation policies, or not?"

(당신의 가족, 이웃, 직장, 학교의 사람들을 떠올려 보시면, 트럼프 행정부의 추방 정책 때문에 두려움 속에 사는 사람을 알고 계십니까?)

결과는 "예" 47%, "아니오" 51%, 모름 3%. 47%라는 수치는 보고서의 머리기사로 뽑히지 않았지만, Quinnipiac의 분석가 Tim Malloy는 이 문항에 대해 이렇게 논평했다. "'미국의 이웃'에 대한 오싹한 조사가 드러낸 것은, 우리 중 거의 절반이 ICE에 잡혀갈까 두려워하는 누군가를 알고 있다는 사실이다." 그가 쓴 "American neighborhood"라는 은유는 이 문항의 성격을 가장 정확히 잡아낸다.

크로스탭은 더 흥미롭다. 공화당 19%, 민주당 65%, 무당층 51%. 여성 53%, 남성 40%. 특히 주목할 부분은 무당층이 공화당의 2.7배이면서 민주당에 거의 근접한다는 점이다. 정당 소속감만으로는 설명되지 않는 층에서 "알고 있다"는 응답이 절반을 넘는다. 이것이 이 문항이 왜 의견 문항과 다른 것을 측정하는지를 보여주는 첫 번째 단서다.

설계의 첫 번째 장치: 4단계 프롬프트

이 문항에서 가장 정교한 부분은 본질(Do you know someone...)이 아니라 그 앞의 도입부다. "Thinking about people in your family, community, work or school..." 가족 → 이웃 → 직장 → 학교. 네 개의 구체적 사회 영역을 순차적으로 나열한다.

만약 이 도입부 없이 그냥 "Do you know someone who is living in fear...?"라고 물었다면, 응답자는 막연하게 자기 주변을 스캔했을 것이고, 아마 훨씬 낮은 Yes 응답률이 나왔을 것이다. 그러나 4단계 프롬프트는 응답자에게 구체적인 사회 공간을 하나씩 떠올리라고 강제한다. 가족을 떠올리고, 이웃을 떠올리고, 직장을 떠올리고, 학교를 떠올린다. 이 순차적 스캔 과정에서 "그러고 보니..."하는 사람이 한 명이라도 걸리면 "예"가 된다.

이게 바로 RAS(Receive-Accept-Sample) 모델이 말하는 고려사항의 활성화(activation of considerations)를 설문 문항으로 구현한 방식이다. 응답자 머릿속에 잠들어 있던 구체적 인물을 끌어내는 장치. 프롬프트가 정교해질수록 활성화되는 고려사항의 양과 질이 달라진다. 이 문항은 단순히 "알고 있는가"가 아니라 "당신의 네 가지 사회 영역을 스캔했을 때 걸리는 사람이 있는가" 를 묻는 것이고, 그 결과가 47%다.

설계의 두 번째 장치: 의견이 아니라 증언

같은 Quinnipiac 보고서의 다른 문항들과 이 문항을 나란히 놓으면, 이 문항의 독특함이 한층 분명해진다. 공화당-민주당 간의 응답 격차를 비교해 보자.

• Q9 "너무 가혹하다" (의견): 공화당 14% / 민주당 95% — 격차 81%p
• Q10 "미국을 덜 안전하게" (의견): 공화당 9% / 민주당 85% — 격차 76%p
• Q15 "행정부의 설명이 정직하지 않다" (의견): 공화당 19% / 민주당 93% — 격차 74%p
• Q21 "두려움 속에 사는 사람을 안다" (증언): 공화당 19% / 민주당 65% — 격차 46%p

앞의 세 문항은 모두 의견 문항이고, 마지막 하나는 증언 문항이다. 그리고 증언 문항의 공화당-민주당 격차는 의견 문항들의 약 60% 수준으로 줄어든다. 이건 우연이 아니다.

왜 이런 패턴이 나올까. 의견 문항은 응답자에게 정치적 판단을 요구한다. 판단은 정당 정체성, 미디어 소비 패턴, 동조 압력에 따라 크게 흔들린다. 같은 이민 정책을 공화당 지지자는 "적절하다"고 보고 민주당 지지자는 "너무 가혹하다"고 본다. 두 응답은 같은 현실을 다르게 프레이밍한 결과다.

반면 "당신 주변에 두려움 속에 사는 사람을 알고 있는가"는 응답자에게 자기 관계망에 대한 구체적 참조를 요구한다. 공화당 지지자라도 이웃에 히스패닉 자영업자 가족이 있고 그들이 실제로 긴장하고 있다면, "알고 있다"고 답할 가능성이 높아진다. 정치적 프레이밍으로도 쉽게 지워지지 않는 구체적 얼굴이 있기 때문이다. 물론 공화당 지지자의 사회적 관계망 구성 자체가 민주당 지지자와 다르다는 선택 편향은 남아 있다. 그래서 46%p의 격차가 여전히 존재한다. 그러나 격차의 크기가 의견 문항의 60% 수준으로 압축된다는 사실은, 이 문항이 정치적 프레이밍의 영향을 상당 부분 우회한다는 경험적 증거다.

단단함의 층위가 다른 것이다. 의견이 이번 주 머릿속에 떠오른 고려사항의 표집이라면, 증언은 기억 속 구체적 인물에 대한 참조다. "네, 제 사촌이..."라고 생각하는 순간, 그 응답은 다음 주 프레이밍 변화로 쉽게 뒤집히지 않는다.

주의할 점: 이 문항이 정확히 무엇을 측정하는가

이 문항을 해석할 때 흔히 빠지는 함정이 있다. 47%라는 숫자가 "미국인의 47%가 실제로 추방 위협에 처한 사람을 알고 있다"를 뜻한다고 읽는 것이다. 그건 엄밀히 말해 아니다.

더 정확한 해석은 이렇다. "47%의 응답자가 그 순간 '그런 사람을 알고 있다'고 해석할 수 있는 관계망을 가지고 있고, 그 관계망이 질문 프롬프트에 의해 활성화됐다." 미묘하지만 중요한 차이다.

왜냐하면 "living in fear"라는 감정 표현이 강한 재구성 효과를 갖기 때문이다. 같은 이웃이라도 실제 대화에서 "조금 걱정된다"는 이야기를 들은 것과, 그 이웃을 "두려움 속에 사는 사람"으로 분류하는 것은 다른 인지 작업이다. 만약 프롬프트가 "living in fear" 대신 "worried" 또는 "concerned"였다면 숫자가 다르게 나왔을 것이다. 단어 하나가 갖는 무게다.

그래서 이 문항을 읽을 때 가장 정확한 자세는 절대 수치보다 집단 간 비교와 시계열 변화에 집중하는 것이다. 공화당 19% / 민주당 65% / 무당층 51%의 구조, 그리고 Quinnipiac이 이 문항을 주기적으로 반복 측정한다면 시간에 따른 이동(47% → 50% → 55%)이 진짜 신호다. 개별 수치는 그 해석 한계 안에서만 읽어야 한다.

한국 실무자를 위한 함의

한국 여론조사에 "당신 주변에 X 때문에 고통받는 사람이 있습니까" 형태의 문항은 극히 드물다. 대부분의 이슈는 찬반 또는 긍정/부정 평가로 수렴한다. 그러나 한국 정치에서 이 개인화 기법이 결정적일 수 있는 이슈는 생각보다 많다.

전세 사기를 떠올려 보자. "전세 사기 피해 규모가 증가했다"는 통계 보도는 반대 진영에서 "통계가 과장됐다"거나 "특정 시기의 특수 상황"이라고 되받아칠 수 있다. 그러나 "당신의 가족, 이웃, 직장 동료, 학교 친구 중에 전세 사기를 당한 사람을 알고 계십니까?" 에 40%가 "예"라고 답한다면, 이 숫자는 통계 논쟁의 지형을 벗어난다. "통계가 조작됐다"는 반박은 가능하지만, "내가 아는 사람이 있다"는 응답을 정파적으로 해체하는 것은 훨씬 어렵다.

청년 취업난, 자영업 폐업, 의료 공백으로 진료받지 못한 경험, 국민연금만으로 감당 안 되는 노후 — 모두 같은 문항 설계가 가능한 이슈다. "OOO 때문에 고통받는 사람을 당신 주변에서 알고 계십니까?"라는 형식은 이슈를 통계 수치에서 이웃의 얼굴로 번역한다. 그리고 그 번역은 단순 찬반 문항과는 전혀 다른 정치적 무게를 갖는다.

물론 주의도 따라붙는다. 이 문항은 프롬프트 단어의 선택("고통받는", "어려움을 겪는", "피해를 본")에 따라 수치가 크게 흔들린다. 한국 사회 특유의 체면 문화에서 "모른다"와 "없다" 사이의 경계가 미국보다 흐릴 수도 있다. 그래서 이 기법을 한국에 이식할 때는 반드시 단어 프롬프트의 표준화와 시계열 반복 측정이 병행되어야 한다. 단발성 조사 한 번의 절대 수치에 의존하면 해석 오류의 위험이 크다.

세 편을 관통하는 지도

지금까지 세 편에 걸쳐 본 문항 설계를 하나의 지도에 올려보면 이렇다.

• 1편 (AP-NORC): 찬반 일차원 위에 "현재 집행 수준"이라는 기준점을 심어, 의견의 방향과 강도를 분리하는 설계.
• 2편 (Zogby): 지지라는 단어를 시간축 위에 펼쳐서, 의견의 감쇠 곡선을 그리는 설계.
• 3편 (Quinnipiac): 측정 대상 자체를 의견에서 증언으로 옮겨, 정치적 프레이밍의 영향을 우회하는 설계.

세 설계의 공통점은 하나다. 찬반 이분법이 뭉뚱그려 놓았던 층위를 분리해 낸다는 것. 응답자에게 한 단계 더 복잡한 인지 작업을 요구하는 대신, 한 차원 더 많은 정보를 얻는다. 그리고 그 정보는 의견의 수준에서만 머무르지 않는다. 시간, 강도, 증언, 관계망 — 문항 하나의 설계가 달라지면 측정의 차원 자체가 바뀐다.

다음 편에서는 네 번째 축 — 응답 선택지 구조 자체의 재설계 — 를 다룬다. Navigator Research가 ICE 조사에서 "폐지 vs 유지"라는 익숙한 이분법 대신 "폐지 / 강력한 개혁 / 현재대로 유지" 라는 3지선다를 썼을 때 드러난 중간 지대가, 앞 세 편의 기법과 또 다른 방식으로 어떻게 작동하는지 본다.

 

[심리적 맥락 문항 해부 ②] 지지에는 유효기간이 있다

— Zogby의 시간 시나리오 분기가 드러내는 정치적 곡선

여론조사 문항이 "당신은 이 정책에 찬성하십니까, 반대하십니까?"라고 물을 때, 돌아오는 "찬성"이라는 답에는 시한이 없다. 오늘 찬성한 사람은 내일도, 6개월 뒤에도, 3년 뒤에도 찬성하는 사람으로 집계된다. 그러나 현실 정치에서 모든 지지에는 유효기간이 있다. 6개월 견디는 지지와 3년 견디는 지지는 같은 단어로 표현되지만 전혀 다른 것이다. 이 유효기간을 문항으로 측정할 수 있을까. 2026년 3월 Zogby의 이란전쟁 조사가 그 사례를 보여준다.

조사의 시점과 맥락

John Zogby Strategies는 2026년 3월 18일 밤(이란 전쟁 발발 2주 차)에 미국 유권자 대상 조사를 실시했다. 트럼프 대통령의 전체 지지율은 44%, 전쟁 처리 지지율은 43%. 언뜻 평이한 수치다. 특히 공화당 기반에서는 여전히 상당한 결집이 유지되고 있었다. 흔한 해석이라면 "대통령이 전쟁 초기 결집 효과(rally-'round-the-flag)를 누리고 있다"로 정리됐을 것이다.

그런데 Zogby 부자는 지지율 몇 개로 보고서를 끝내지 않았다. 대신 같은 이슈에 대해 응답자의 답을 점점 더 구체적인 조건 아래로 몰아넣는 드릴다운(drill-down) 설계를 썼다. Jeremy Zogby는 팟캐스트에서 설계 철학을 이렇게 설명한다.

"I designed questions to start broad and then drill down."

문항을 넓게 시작해서 점점 좁혀 들어간다. 그 목적은 단순하다. 응답자가 처음 무심코 던진 '찬성'이 구체적 조건을 마주했을 때 어떻게 변하는지를 측정하는 것이다.

일차 질문: 지상군 투입 찬반

첫 질문은 평범했다. "미국이 이란에 지상군(boots on the ground)을 투입하는 것을 지지합니까?" 결과는 찬성 27%, 반대 63%. 여기서 보고서를 끝냈다면 헤드라인은 "미국인 3분의 2가 지상군 투입 반대"가 됐을 것이다. 완결된 문장처럼 읽힌다.

그러나 공화당 지지자만 따로 보면 이야기가 전혀 달라진다. 찬성 48%, 반대 41%. MAGA 기반이 이 이슈에서는 둘로 쪼개진다. Jeremy Zogby의 표현: "MAGA is essentially split over this." 전체 집계(찬성 27% / 반대 63%)만 봐서는 이 내부 균열이 보이지 않는다. 보다 상위의 "전쟁 처리 지지율 43%"라는 수치는 더더욱 이 균열을 가린다. 구체적 조건 하나("지상군 투입")를 던졌을 때 비로소 드러난다. 여기까지만 해도 이미 한 번의 드릴다운이 작동한 셈이다.

시간 시나리오 분기

Zogby는 여기서 한 단계 더 들어간다. 같은 지상군 문항을 네 개의 시간 조건으로 쪼갠다.

• 1개월간 주둔한다면 지지합니까?
• 3개월간 주둔한다면?
• 6개월간 주둔한다면?
• 1년 이상 주둔한다면?

Jeremy Zogby가 결과에서 강조한 것은 개별 수치가 아니라 방향성이었다. "각 시나리오에서 지지는 떨어지고 반대는 올라간다(in each scenario the support falls and the opposition goes up)." 1년 시나리오에 이르면 반대는 68%에 도달한다.

이 데이터가 의미하는 것은 단순한 "반대 비율 증가"가 아니다. 지지의 감쇠 곡선(decay curve)이다. 응답자 각자의 머릿속에는 "어디까지 견딜 수 있는가"라는 내부 임계점이 있고, 시간 시나리오 분기는 그 임계점의 분포를 집계 수준에서 가시화한다. 곡선이 급격히 떨어지면 그 지지는 조건부, 완만하게 떨어지면 견고다. 기울기 자체가 정보다.

단일 찬반 문항이라면 "찬성 27%"는 고정된 한 점이다. 그러나 시간 시나리오로 보면 같은 27%가 1개월 시나리오에서는 더 높고, 1년 시나리오에서는 훨씬 낮다. 동일한 응답자가 조건에 따라 다른 답을 내놓는 것이다. 그 차이가 "지지"라는 한 단어 안에 숨어 있던 복잡성이다. 그리고 그 복잡성은 찬반 일차원 척도로는 결코 측정되지 않는다.

베트남 전쟁과의 연결

John Zogby는 팟캐스트에서 이 문항 설계의 역사적 뿌리를 직접 언급했다.

"이런 종류의 질문은 1968년과 1969년에 여론조사자들이 던지기 시작한 것이다. 베트남 전쟁 확전 5년 차였고, 미국인들은 '우리가 수확체감에 도달한 것 아닌가? 이게 그만한 가치가 있는가?'를 묻기 시작했다."

여기서 드러나는 것은 시간 시나리오 분기가 전쟁 여론 연구의 고전 전통이라는 점이다. John Mueller의 고전 War, Presidents, and Public Opinion(1973)은 코리아와 베트남 전쟁 여론을 분석하면서, 사상자 수의 로그값과 지지율이 선형 관계를 이룬다는 유명한 발견을 제시했다. 축을 '사상자 수'에서 '시간'으로 옮기면 Zogby의 시나리오 분기가 된다. 60년 가까이 축적된 전쟁 여론 측정 도구가 이란 전쟁 2주 차 조사에 그대로 이식된 것이다. 새로운 도구가 아니라 재발견된 도구인 셈이다.

주의할 점: 시간 시나리오는 '예측'이 아니다

이 문항 설계에는 몇 가지 한계와 주의 사항이 있다.

첫째, 응답자가 "1년 뒤의 자신"을 정확히 상상할 수는 없다. 이 문항이 측정하는 것은 실제 1년 후의 지지율이 아니라, "그런 상황을 상상했을 때 지금 느끼는 거부감의 강도"다. 미래 예측이 아니라 현재 심리 측정이라는 점을 혼동하면 안 된다.

둘째, 문항 제시 순서가 결과에 영향을 준다. 1개월→3개월→6개월→1년 순으로 순차 제시하면 응답자가 점점 더 부담스러운 시나리오를 의식하면서 지지를 의도적으로 줄일 가능성(anchoring effect)이 있다. 이상적으로는 half sample에 역순으로 제시해 순서 효과를 통제해야 한다. Zogby 보고서에서 이 통제가 이루어졌는지는 공개된 자료에서 확인되지 않는다.

셋째, 그래서 시간 시나리오 문항을 읽을 때는 절대 수치보다 곡선의 기울기에 집중하는 것이 안전하다. "1년 시나리오에서 반대 68%"라는 개별 숫자보다, 1개월과 1년 사이의 간극이 얼마나 큰가가 더 정확한 신호다. 기울기는 순서 효과의 영향을 받긴 하지만 부호가 뒤집히지는 않는다.

한국 실무자를 위한 함의

한국 정치·정책 조사에서 시간 시나리오 분기는 거의 사용되지 않는다. 정부가 "2030년까지 탄소 배출을 40% 감축한다"거나 "2040년까지 신규 원전을 단계적으로 도입한다"고 선언할 때, 한국 여론조사는 대부분 "이 정책에 찬성/반대합니까"라는 한 문항으로 끝난다. 그러나 정책의 정치적 지속가능성은 "오늘부터 시행하면?", "5년 후부터 완전 도입하면?", "10년 후에 완성하면?"이라는 시한 조건에 따라 전혀 다르게 결정된다.

연금 개혁을 떠올려 보자. "국민연금 보험료율 인상에 찬성하십니까?"라고 물으면 반대가 압도적으로 돌아온다. 그런데 "10년에 걸쳐 단계적으로 인상한다면?", "5년에 걸쳐 인상한다면?", "즉시 인상한다면?"이라는 시나리오 분기를 걸면 완전히 다른 감쇠 곡선이 그려질 것이다. 부동산 보유세, 법정 근로시간 단축, 정년 연장, 탄소세 도입 — 시한 조건에 따라 수용성이 급격히 달라지는 정책은 한국에도 차고 넘친다.

이런 이슈들을 한 점의 찬반 수치로만 측정하고 있다면, 그 데이터는 정책의 정치적 생명선을 전혀 포착하지 못하는 것이다. 정책 담당자가 진짜로 알아야 하는 것은 "몇 %가 찬성하는가"가 아니라, "몇 개월까지 견딜 수 있는 지지인가"이기 때문이다. 전자는 한 점이고, 후자는 곡선이다.

한 점이 아니라 곡선을 본다

1편에서 다룬 AP-NORC의 3점 척도가 찬반 일차원 위에 "기준점"을 심어 넣는 설계였다면, Zogby의 시간 시나리오 분기는 지지라는 단어를 시간축 위에 펼쳐서 감쇠 곡선을 그리는 설계다. 두 문항은 다른 방식으로 작동하지만 공통점이 있다. 응답자에게 한 단계 더 복잡한 인지 작업을 요구하는 대신, 찬반 이분법이 뭉뚱그려 놓았던 층위를 분리해 낸다는 것.

지지는 한 점이 아니다. 시간축 위에 그려지는 곡선이고, 그 곡선의 기울기가 정책의 운명을 결정한다.

다음 편에서는 전혀 다른 축 — 개인화(personalization) — 를 다룬다. Quinnipiac의 "당신 주변에 추방 정책 때문에 두려움 속에 사는 사람이 있는가"라는 문항을 해부할 것이다. 정치적 이슈를 통계 수치가 아니라 '이웃의 고통'으로 번역할 때, 여론조사가 측정하는 것이 어떻게 달라지는가.

 

[심리적 맥락 문항 해부 ①] '너무 멀리 나갔다'는 반대가 아니다

— AP-NORC의 3점 척도가 드러내는 정치적 지형

미국 여론조사를 읽다 보면 같은 구조의 문항이 반복적으로 등장하는 것을 알게 된다. 정책에 대한 찬성과 반대를 묻는 대신 "너무 멀리 나갔다(gone too far) / 적당하다(about right) / 충분하지 않다(not far enough)"의 3점 척도로 묻는 문항이다. 언뜻 평범해 보인다. 그러나 이 문항이 하는 일은 찬반 척도로는 결코 잡을 수 없는 층위를 드러내는 것이다. 2026년 2월 AP-NORC 조사를 사례로 그 구조를 해부해 보자.

실제 문항과 수치

AP-NORC가 2026년 2월 5~8일에 실시한 조사(AmeriSpeak 확률패널, n=1,156)는 트럼프 행정부의 네 가지 이민 관련 조치에 동일한 3점 척도를 적용했다. 문항 문구는 이렇다.

"When it comes to each of the following, would you say Donald Trump has gone too far, not gone far enough, or been about right?"

네 개 항목에 대한 응답 분포는 다음과 같다.

조치	너무 멀리	적당하다	충분하지 않다
미국 도시에 연방 이민 요원 투입	62%	26%	10%
미국 도시 시위 현장에 연방 법 집행 투입	61%	25%	12%
합법 이민 제한	54%	34%	11%
불법체류자 추방	52%	32%	14%

"6 in 10 think Trump has gone too far"라는 보도 제목은 첫 행의 62%에서 나왔다. 여기까지는 흔한 요약이다. 그러나 이 수치를 "반대 62%"로 번역하는 순간, 이 조사가 측정한 것의 절반을 잃는다.

찬반 척도가 놓치는 것

동일한 쟁점을 "당신은 연방 이민 요원의 도시 투입 정책에 찬성하십니까, 반대하십니까?"로 물었다고 가정해 보자. 돌아올 답은 찬성과 반대의 비율뿐이다. 그런데 현실 정치에서 "반대"라는 한 단어는 최소 두 가지 다른 심리를 가린다.

하나는 정책의 방향 자체에 반대하는 사람이다. 이민 단속을 강화하는 것 자체가 틀렸다고 보는 층. 다른 하나는 정책의 방향에는 동의하지만 집행의 속도나 강도가 과하다고 느끼는 사람이다. 이 두 집단은 찬반 척도 위에서는 똑같이 "반대"로 집계되지만, 정치적으로는 전혀 다른 존재다. 전자는 정책의 전환을 원하고, 후자는 정책의 조정을 원한다. 다음 선거에서 이 두 집단은 다른 메시지에 반응하고 다른 방식으로 움직인다.

AP-NORC의 3점 척도는 바로 이 층위를 분리한다. "너무 멀리 나갔다"고 답한 응답자는 방향에 대한 판단을 유보한 채 속도에 대한 반감만 표명할 수 있다. 방향 자체에 반대한다면 이들은 정책의 폐기를 원할 것이다. 속도에만 반감이 있다면 이들은 다음 선거에서 "좀 더 차분한 버전의 같은 정책"을 원할 것이다. 이 구분이 정책 담당자에게 얼마나 결정적인지는 더 설명할 필요가 없을 것이다.

반대편도 마찬가지다. 이 문항은 "찬성" 응답자도 두 집단으로 나눈다. "적당하다"와 "충분하지 않다"이다. 전자는 현 정책에 만족하고 추가 강화를 원하지 않는 층이다. 후자는 더 강경한 조치를 요구하는 층이다. 둘 다 찬반 척도에서는 "찬성"으로 뭉뚱그려지지만, 다음 정책의 방향을 결정하는 유권자로서의 역할은 전혀 다르다.

결국 이 3점 척도가 실제로 하는 일은, 찬반이라는 일차원 위에 "현재의 집행 수준"이라는 기준점을 하나 심어 넣는 것이다. 응답자에게 "이 정책이 현재 어디까지 와 있다고 느끼는가"라는 위치 판단을 먼저 요구한 뒤, 그 위치가 과한지 모자란지 적절한지를 답하게 한다. 단순한 찬반보다 한 단계 복잡한 인지 작업이 필요하지만, 그 대가로 한 차원 더 많은 정보를 얻는다.

시계열로 보면 더 선명해진다

AP-NORC 토플라인에는 "불법체류자 추방" 항목의 시계열이 있다. "너무 멀리 나갔다"고 답한 비율은 2025년 4월 48%, 9월 49%, 2026년 1월 51%, 2026년 2월 52%로 나타난다. 약 10개월 사이 4%p의 완만한 상승이다.

만약 이 조사가 단순한 찬반 척도였다면 해석은 "반대층이 4%p 늘었다"로 끝난다. 그러나 3점 척도 시계열이 보여주는 것은 그 이상이다. 같은 기간 "적당하다"와 "충분하지 않다" 비율이 함께 이동했을 가능성, "충분하지 않다"에서 "적당하다"를 거쳐 "너무 멀리"로 천천히 이동하는 중간 이탈의 경로. 이 동학은 본질적으로 중도층 내부에서 일어나는 인식 변화이고, 정책의 지속가능성을 가늠하는 결정적 신호다. 방향 반대층이 4%p 증가한 것과, 현 정책을 괜찮다고 보던 사람이 과하다고 느끼기 시작한 것은 전혀 다른 정치 현상이다. 찬반 척도는 후자를 전자로 오역한다.

이 문항 설계가 요구하는 조건

모든 이슈에 3점 척도를 쓸 수 있는 것은 아니다. 이 문항이 제대로 작동하려면 최소 세 가지 조건이 충족되어야 한다.

첫째, 응답자가 해당 정책의 방향을 어느 정도 공유하거나 적어도 이해할 수 있어야 한다. 방향 자체가 극단적으로 거부되는 이슈에는 "적당하다"라는 중간점이 심리적으로 성립하지 않는다. "적당한 계엄령"이나 "적당한 전쟁 선포" 같은 개념이 성립하지 않기 때문이다.

둘째, 정책이 이미 실행되고 있어야 한다. 가상의 정책이나 미래 공약에 대해서는 "속도" 판단 자체가 불가능하다. 이 문항은 본질적으로 사후적(post hoc) 평가 척도다. 현재 집행 중인 정책의 강도를 기준점으로 삼아 그것이 적절한지 묻는 구조이기 때문이다.

셋째, "적당하다"가 심리적으로 의미 있는 선택지여야 한다. 응답자가 "모르겠으니 중간을 찍는" 회피 선택지로 활용하면 데이터 전체가 오염된다. AP-NORC가 이 문항을 그리드 형태로 묶어 네 개 항목을 동시에 제시하고, 응답 옵션 순서를 half sample에 역순으로 제시하는 것도 이 점과 관련이 있다. 응답자가 각 항목을 서로 비교하며 의식적으로 위치를 정하도록 유도하는 설계다.

한국 실무자를 위한 함의

한국의 정책 조사에서 이 3점 척도는 거의 사용되지 않는다. 대부분의 공공정책 조사는 찬성/반대 이분법 또는 5점 리커트 찬반 척도로 설계된다. 그러나 위에서 본 것처럼, 찬반 척도는 방향 반대와 속도 반감을 구분하지 못한다.

한국 정치에서 이 구분이 결정적이었던 이슈를 떠올려 보자. 주 52시간 근무제에 대한 반대에는 "노동시간 단축 자체에 반대하는 목소리"와 "방향은 맞는데 전환 속도가 현장 여건에 비해 빠르다는 목소리"가 뒤섞여 있다. 부동산 세제 강화에 대한 반대에도 같은 두 층이 있었다. 연금 개혁, 교육 정책, 탈원전 — 모든 장기 전환 정책에서 이 두 층은 섞여 측정되고 섞여 해석된다. 결과적으로 "반대가 60%"라는 식의 정치적 언어가 반복되지만, 그 60% 안에서 정책 조정을 요구하는 층과 정책 폐기를 요구하는 층의 비율은 공표되지 않는다. 측정 자체가 되지 않았기 때문이다.

이 문항 설계를 한국 조사에 이식하려면 단순히 "너무 지나치다 / 적절하다 / 부족하다"로 번역하는 것 이상이 필요하다. 중간점의 의미론적 안착, 정책 제시문의 방향 중립성, 항목 간 비교를 가능케 하는 그리드 구조. 이 조건이 갖춰질 때 비로소 한 문항이 찬반 척도 열 개보다 더 많은 정보를 드러낸다.

한 문항의 무게

"Gone too far, about right, not far enough." 영어로 여섯 단어짜리 척도다. 그러나 이 척도가 AP-NORC 조사에서 한 일은 찬반 척도로는 보이지 않는 정치적 지형 전체를 드러낸 것이다. 반대층 내부의 분화, 찬성층 내부의 분화, 시계열 이동의 내부 동학. 전부 이 세 개의 선택지에서 나왔다.

심리적 맥락을 측정한다는 것이 반드시 화려한 실험 설계나 복잡한 통계 모델을 의미하지는 않는다. 때로는 선택지 한두 개를 늘리거나 응답 축 하나를 재정의하는 것으로 충분하다. 그 선택지 하나가 응답자에게 찬반이라는 강제된 이분법 밖의 인지 공간을 열어주기 때문이다.

다음 편에서는 이 3점 척도보다 한 단계 더 복잡해진 설계 — Zogby가 2026년 이란전쟁 여론조사에서 사용한 "시간 시나리오 분기" — 를 본다. "지상군 투입에 찬성하는가?"라는 질문이 "1개월이면? 6개월이면? 1년 이상이면?"으로 쪼개질 때, 응답자의 머릿속에서 어떤 일이 벌어지는가.

 

한국에서 여론조사 등급제는 왜 어려운가

---

미국의 폴스터 등급제가 작동하는 이유

538(FiveThirtyEight)이나 AAPOR 같은 기관이 조사회사를 등급화할 수 있는 건, 단순히 의지와 기준이 있어서가 아니다. 구조적 조건이 뒷받침되기 때문이다.

미국 선거조사에는 세 가지 응답자 베이스가 통용된다. 성인 전체(All Adults), 등록 유권자(RV, Registered Voters), 그리고 실제 투표 가능성이 높은 유권자(LV, Likely Voters). 선거가 임박할수록 LV 베이스가 핵심 예측 지표로 부각된다.

LV를 어떻게 정의하느냐는 기관마다 다르다. Gallup은 과거 투표 참여, 관심도, 등록 여부 등 7~8개 문항으로 점수를 매겨 커트라인을 정하고, NYT/Siena는 등록 데이터와 과거 투표 이력을 결합해 가중치로 처리한다. 중요한 건, 이 LV 베이스가 "예측치 vs 실제 결과" 비교를 깔끔하게 만들어준다는 점이다.

여기에 더해, 미국은 연방·주·지방 단위 선거가 연간 수백 건 쏟아진다. 조사회사별로 충분한 비교 관측치가 쌓이고, 방법론 정보는 표준화된 형식으로 공개되며, 538이 수십 년치 데이터를 아카이브로 관리한다.

등급제는 이 모든 조건 위에서 작동한다.

---

한국에서 같은 논리가 성립하지 않는 이유

비교 기준점이 없다

한국은 유권자 등록이 자동이다. 전 국민이 이미 등록 유권자이므로 RV 개념 자체가 없다. LV 필터를 도입한다 해도, "투표 의향 확실" 응답자를 걸러내는 것이 예측력을 얼마나 높이는지는 별도로 검증해야 할 문제다. 대선 투표율이 70~80%에 달하는 구조에서, "누가 나오느냐"의 변별력은 미국만큼 크지 않다.

선거 건수가 너무 적다

등급제의 논리는 충분한 반복 관측으로 편향과 분산을 추정하는 것이다. 한 조사회사가 대선에서 크게 틀렸을 때, 그것이 방법론 문제인지 그 선거의 특수성인지 구별하려면 반복 데이터가 필요하다. 그런데 한국의 전국 단위 선거는 대선·총선·지선 합쳐 2년에 한 번꼴이다. 회사별 비교 관측치가 현실적으로 n=3~5 수준에 머문다. 이 데이터로 등급을 산출하면 신뢰구간이 너무 넓어 의미가 없다.

오차 귀책이 불가능하다

공직선거법은 선거일 6일 전부터 조사 공표를 금지한다. 마지막으로 공표된 수치와 실제 결과 사이에 6일이라는 간격이 생긴다. 그 사이에 후보 단일화, 사퇴, 돌발 변수가 개입하면 조사 오차와 상황 오차를 분리할 방법이 없다. 오차의 귀책 자체가 불명확한 구조다.

---

그렇다면 정성적 평가로 보완하면 되지 않는가

여기서 핵심 질문이 나온다. 정량 평가가 어렵다면, 정성적 기준을 도입해 보완하면 되지 않을까?

물론 방법론적 투명성(응답률 공개 여부, 가중변수 명시 여부), 독립성·이해충돌(의뢰처 비중, 편향 패턴), 절차적 준수(심의위 규정 위반 이력) 같은 항목들은 기준을 만들 수 있다. 일부는 정량화도 가능하다.

그러나 정성 평가는 결국 "누가 평가하느냐" 문제로 귀결된다. 평가 주체가 업계와 이해관계가 없는 제3자여야 하는데, 한국의 현실에서 그 역할을 누가 맡을 수 있는지는 별도의 난제다. 538이 신뢰받는 이유 중 하나는 평가 주체의 독립성이다. 그 조건이 충족되지 않으면, 등급제는 외양만 있고 실질은 특정 기관을 배제하거나 보호하는 도구로 전락할 위험이 있다.

---

내 입장: 정량만 해야 한다, 그러나 한국에서 그 정량이 지금은 불가하다

나는 조사회사 평가는 정량적 기준으로만 이루어져야 한다고 생각한다. 정성이 끼어들면 심사위원회의 주관 평가가 되기 때문이다. 그런데 한국에서 그 정량이 구조적으로 성립하지 않는다.

• LV 베이스 없음 → 비교 기준 불명확
• 선거 건수 부족 → 통계적 유의성 없음
• 공표 금지 기간 → 오차 귀책 불가
• 단일화·사퇴 변수 → 노이즈 분리 불가

이 네 가지가 동시에 걸리는 한, 정량 등급제는 구조적으로 성립하지 않는다. 억지로 만들면 숫자의 외양을 한 주관 평가가 된다.

---

현실적 대안: 등급(Grade)이 아니라 인증(Certification)

그렇다면 한국에서 가능한 건 무엇인가. 나는 최소 기준 인증제가 현실에 맞는 형태라고 본다.

• 이 조사는 응답률을 공개했는가
• 가중변수를 명시했는가
• 의뢰처를 공개했는가
• 표본설계 방식을 기술했는가

이런 yes/no 항목들로 구성된 체크리스트 기반 인증이다. 등급을 매기는 게 아니라, 최소한의 투명성 기준을 충족했는지를 확인하는 것이다.

등급제는 "얼마나 잘하느냐"를 묻는다. 인증제는 "기본은 하느냐"를 묻는다. 지금 한국 여론조사 환경에서는 후자가 우선이다. 공시 의무 강화와 원데이터 공개가 선행되어야 그 위에 평가 체계를 논할 수 있다.

평가 체계의 수준은 데이터 인프라의 수준을 넘을 수 없다.

 

미국 선거조사 방법론의 다양성은 자랑이 아니라 상처의 흔적이다

— 그리고 한국 조사가 단조로워 보이는 진짜 이유

최근 미국 여론조사 기관들의 방법론을 하나씩 훑어볼 일이 있었다. AP-NORC의 AmeriSpeak, NYT/Siena의 live caller, YouGov의 매칭 패널, Verasight와 Echelon Insights의 voter file matched online, Atlas Intel의 RDR(Random Digital Recruitment)까지. 같은 1,000명짜리 전국 조사인데도 표본을 뽑는 방식이 기관마다 전혀 다르고, 가중치 변수도, 분석 단위도, 심지어 응답자에게 접근하는 매체조차 다 달랐다.

한국 조사자라면 한 번쯤 이런 생각이 들 수 있다. "미국은 정교하고, 우리는 단조롭다." 그러나 이 통념은 절반 이상 틀렸다고 본다. 미국 선거조사가 그렇게 다층적인 모습을 갖게 된 것은 정교함을 추구해서가 아니라, 단순하게 만들 수 있는 장치가 거의 하나도 없었기 때문이다. 다섯 가지 구조적 제약이 동시에 작동한 결과다.

첫째, 국가가 제공하는 sampling frame이 없다

이것이 가장 근본적이다. 한국에는 주민등록이 있고, 그 위에 통신 3사가 제공하는 안심번호 체계가 얹혀 있다. 전국 성인 sampling frame이 사실상 공공재로 존재한다. 미국은 그렇지 않다. 연방 차원의 주민등록 자체가 정치적 금기에 가깝고("national ID" 논쟁은 건국 이래 진행 중이다), 그 결과 프레임을 만드는 일이 통째로 민간 시장의 몫이 되었다. L2, Catalist, Aristotle 같은 회사들이 50개 주의 voter file을 각자 긁어모아 상품으로 판매하는 생태계가 그래서 자라났다. 기관마다 어느 회사의 voter file을 쓰느냐, 거기에 어떤 consumer data를 결합하느냐부터가 달라진다.

둘째, 연방제이기 때문에 분석 단위가 다층적이다

미국 선거는 전국 단위 지지율만으로는 아무것도 예측할 수 없다. Electoral College 때문에 주 단위, 그것도 swing state 6~7개의 개별 정밀 추정이 핵심이고, 하원은 435개 district, 상원은 33~34개 주를 동시에 다뤄야 한다. 한국처럼 "전국 1,000명"으로 끝나지 않는다. MRP(다층 회귀 사후층화) 같은 소지역 추정 기법이 미국 선거조사에서 그토록 중요해진 이유, Focaldata나 YouGov가 자기 강점으로 내세우는 능력이 결국 소지역 추정인 이유가 여기에 있다. 분석 단위의 다층성이 방법론의 다층성을 강제한다.

셋째, TCPA와 응답률 붕괴와 STIR/SHAKEN의 3중 펀치

이 부분은 구조적으로 보면 "전화 조사의 사형 선고"가 30년에 걸쳐 천천히 집행된 과정이다. 1991년 TCPA로 autodialer가 막히고, 2000년대 휴대폰 전환으로 유선 RDD가 붕괴하고, 2010년대에 응답률이 1% 아래로 내려가고, 2020년대에 STIR/SHAKEN으로 발신번호가 "Scam Likely"로 표시되기 시작했다. 각 단계마다 조사 기관들은 살아남기 위해 새 방법을 찾아냈고, 폐기된 방법은 거의 없이 누적되었다. 그래서 지금 live caller(NYT/Siena), ABS 우편 초대(AP-NORC), voter file matched online(Verasight), opt-in online panel(YouGov), 그리고 ad-tech 기반 RDR(Atlas)이 동시에 공존하는 희한한 지층이 형성된 것이다.

넷째, 규제 기관이 없으니 표준도 없다

한국에는 중앙선거여론조사심의위원회가 있다. 문항, 가중치 변수, 공표 기준까지 관장한다. 외부에서 보면 답답할 수 있지만, 이것이 조사 시장 전체의 하한선을 만들어준다. "최소한 이 정도는 지켜야 공표할 수 있다"는 것이 존재한다는 사실 자체가 시장 신뢰의 인프라다. 미국에는 그런 것이 없다. AAPOR은 협회이지 규제 기관이 아니고, Transparency Initiative도 자발적 가입이다. 그래서 방법론은 표준화가 아니라 차별화의 방향으로 진화한다. 각 기관이 "우리만의 모델"을 내세워야 언론사 계약을 따낼 수 있기 때문이다. 다양성은 그 부산물이다.

다섯째, 2016과 2020의 트라우마

2016년 위스콘신·미시간·펜실베이니아를 놓친 충격, 2020년 전국 지지율을 2~3%p씩 덜 잡은 충격. 이 두 번의 실패가 일종의 methodological arms race를 촉발했다. 원인 진단이 두 갈래로 나뉘었는데, 하나는 학력 가중치 누락(대졸자가 조사에 더 잘 응답하는 편향)이었고, 다른 하나는 differential non-response(특정 성향 유권자가 조사 자체를 거부하는 현상)였다. 이후 학력 가중치는 표준이 되었고, recalled vote weighting(직전 대선 투표 회상으로 표본을 보정)도 사실상 표준이 되었다. 그리고 기관마다 "우리는 이 부분을 더 정교하게 한다"고 주장하면서 차별화 압력은 한층 강해졌다.

---

그래서 한국 조사는 단조로운가

여기까지 보면 한국 조사 환경이 단조로워 보이는 것이 어떤 의미인지 다시 생각하게 된다. 한국 시스템은 사실 한 가지 굉장한 자산 위에 서 있다. 신뢰할 만한 전국 단위 프레임을 국가가 공공재로 제공한다는 것. 미국 조사자들이 평생 갖고 싶어 하는 그것이 우리에게는 그냥 있다. 안심번호는 단순히 편한 도구가 아니라, 통신사 가입자 데이터베이스라는 거의 완벽에 가까운 sampling frame에 합법적 접근권을 부여한 제도다. 미국이 voter file 회사 세 곳이 50개 주를 짜깁기해서 만드는 것을, 한국 조사자는 출발선에서 이미 갖고 시작한다.

NESDC의 규제도 마찬가지다. 외부에서는 답답해 보일 수 있지만, 시장 전체의 신뢰 하한선을 끌어올리는 인프라 역할을 분명히 한다. 미국이 전혀 갖지 못한 자산이다.

한국 조사가 단조로워 보이는 것은 방법론이 빈약해서가 아니라, 안정적인 인프라 위에서 변동 요인을 줄일 수 있기 때문이다. 미국식 다양성은 자랑이 아니라 어떤 면에서는 상처의 흔적이다. 과학을 빌려온 수준이 아니라, 기댈 곳이 없어서 떠밀려 과학을 발명해야 했던 케이스에 가깝다.

다만 우리가 안고 있는 도전은 다른 종류다

물론 한국 조사도 위기 없는 시스템은 아니다. 다만 그 위기가 미국과 같은 종류가 아니라는 점이 중요하다. 미국은 "프레임이 없어서 발명해야 한다"의 문제이고, 한국은 "프레임은 좋은데 그 위에서 잡히는 사람이 점점 편중된다"의 문제다. ARS 응답률 2~3%, 60대 이상 고관여층 과대표집, 그것을 가중치로 강제 보정하면서 발생하는 표본 불안정성. 이것은 안심번호가 해결해주는 종류의 문제가 아니다.

그래서 한국 조사가 다음 단계로 가려면 미국 방법론을 베끼는 것이 답이 아니다. 한국 인프라의 강점은 유지하면서 그 위에 무엇을 하나 더 올릴 것인가를 고민해야 한다. 한국형 master address file 논의도, 확률 기반 패널의 가능성도, 결국 같은 방향의 사고다.

---

비교는 항상 위험하다. 두 시스템을 놓고 "누가 더 잘하나"를 묻는 것은 게으른 질문이다. 더 나은 질문은 "각자 무엇을 다음 과제로 안고 있는가" 다. 미국이 화려해 보이는 것은 그만큼 기본기가 부서져 있기 때문이고, 한국이 단조로워 보이는 것은 그만큼 기본기가 단단하기 때문이다. 두 시스템은 같은 사다리의 위아래 칸이 아니라, 다른 제약 조건에 대한 다른 해법이다.

한국은 정말 '패널조사 강국'인가?

 

한국은 정말 '패널조사 강국'인가 — 나라장터 100건이 보여주는 착시

들어가며

최근 나라장터에서 '패널조사' 키워드로 최근 개찰 결과 100건을 훑어볼 일이 있었다. 1년 남짓한 기간에 쏟아진 공고만 나열해도 한국노동패널, 고령화연구패널, 청년패널2021, 여성가족패널, 한국아동·청소년패널, 장애인고용패널, 장애인삶패널, 산재보험패널, 재정패널, 국민노후보장패널, 여성관리자패널, 사업체패널, 한국미디어패널, 교육고용패널, 인적자본기업패널, 경북·대구·전남 교육종단연구, 서울·부산·인천·대구·경기 소상공인 패널, 농어촌기본소득 가구패널, 에너지바우처 패널, 가구에너지패널, 서울·부산 청년패널, 대안교육기관 패널, 한국장학패널, 난민인정자 체류실태 패널, 공상공무원 패널, 어르신 일과 삶 패널, 청소년건강패널까지 족히 40종이 넘는다.

이 목록을 보고 많은 이들이 "한국이 다른 선진국에 비해 종단조사가 탁월하게 많다"고 말한다. 정책 담당자도, 연구자도, 학회 발표에서도 심심찮게 듣는 이야기다. 그런데 이 통념은 절반만 맞다. 오늘은 이 절반의 진실과 절반의 착시를 해부해 보려 한다.

1. "선진국보다 많다"는 통념은 국제비교에 취약하다

국가 간 종단조사 인프라를 비교할 때 흔히 인용되는 것이 CPF(Comparative Panel File) 프로젝트다. CPF는 "세계에서 가장 규모가 크고 오래된 가구 패널"로 7개국을 묶는데, 미국(PSID), 독일(SOEP), 영국(BHPS/UKHLS), 호주(HILDA), 스위스(SHP), 러시아(RLMS), 그리고 한국(KLIPS)이다. 한국은 이 그룹의 '특이하게 많은' 국가가 아니라 '그 그룹의 일원'이다.

개별 국가 내부를 들여다보면 그림은 오히려 반대에 가깝다.

• 미국: PSID(1968~)라는 세계 최장수 패널 위에 HRS(고령), NLSY(청년 코호트 여럿), Add Health, SIPP, ECLS(출생 코호트)가 층층이 쌓여 있다.
• 영국: UKHLS(구 BHPS)를 중심축으로 ELSA(고령), Millennium Cohort Study(2000년생), Next Steps, 1958·1970 Birth Cohort 같은 출생코호트가 수십 년을 따라간다.
• 독일: SOEP 외에 NEPS(교육 종단), pairfam(가족·관계), SHARE 참여까지 주제별 장기 패널이 탄탄하다.

특히 출생코호트 연구에서 한국은 오히려 뒤처진 편이다. 영국이 1946·1958·1970·2000년 네 차례 전국 출생코호트를 구축한 것과 같은 층위의 인프라를 한국은 갖고 있지 않다. "한국이 패널 강국"이라는 통념은, 공고 건수와 인프라의 두께를 구분하지 않았기 때문에 생긴 착시다.

2. 그럼 한국의 진짜 특징은 무엇인가

그렇다고 나라장터 100건의 존재감이 허상이라는 얘기는 아니다. 한국 패널 풍경에는 분명히 국제적으로 드문 특징이 있다. 다만 그 특징은 "많다"가 아니라 다음 세 가지다.

첫째, 주제·하위집단별 세분화가 극단적이다. 선진국은 대형 범용 패널 하나에 부가 모듈과 부스트 샘플로 해결하는 일을, 한국은 별도 패널을 신규 구축하는 방식으로 푼다. 청년만 해도 고용정보원 청년패널, 서울청년패널, 부산청년패널이 각자 표본을 뽑고 각자 추적한다. 교육종단은 KELS 위에 경북·대구·전남·서울이 시·도 교육청 단위로 별도 연구를 돌린다. 여성 관련 패널은 여가부 여성가족패널, 여성정책연구원 여성관리자패널, 저출생 대응 가족패널이 겹치는 영역을 각자 다룬다. UKHLS라면 ethnic minority boost 한 줄로 끝낼 일을, 한국은 예닐곱 개의 독립 패널로 쪼개 푸는 셈이다.

둘째, 국가 발주–외주 실사 구조가 고도로 제도화돼 있다. 나라장터 공고 → 일반경쟁·제한경쟁 → 실사업체 낙찰이라는 루틴이 선진국과 비교하면 이례적으로 촘촘하다. 독일 SOEP는 DIW가 Kantar와 장기계약으로 돌리고, 미국 PSID는 미시간대 ISR이 자체 수행한다. 매년 수십 건의 패널 실사가 공개입찰로 쏟아지는 조달시장은 한국의 상당히 독특한 풍경이다.

셋째, 패널 간 연계·통합보다 신규 구축이 반복된다. 같은 모집단을 대상으로 변수 표준화와 데이터 연계를 시도하기보다, 새 수요가 뜰 때마다 새 패널을 띄우는 경로 의존성이 강하다.

3. 왜 이렇게 되었나 — 저단가 대면면접이 깔아놓은 멍석

이 구조가 지속 가능했던 물리적 이유는 단순하다. 한국의 대면면접(F2F) 조사 단가가 싸기 때문이다.

미국 F2F 패널은 완료 케이스 1건당 실사비만 USD 300~500선, 추적 난이도가 높으면 USD 700 이상이 예사다. 독일 SOEP나 영국 UKHLS도 Kantar·NatCen 기준으로 완료 1건당 수백 유로를 잡는다. 반면 한국에서는 일반 성인 대상 CAPI 대면이 완료 1건당 5만~15만 원대, 추적 난이도 높은 장기패널도 20만~30만 원선에서 발주되는 경우가 흔하다. 환율을 감안하지 않고 노임 기준만으로도 2~5배 차이가 난다.

이유는 여러 겹이다. 조사원 인건비가 낮고, 국토가 좁아 이동비 부담이 작으며, 인구 절반이 수도권에 몰려 있어 추적 비용이 적고, 프리랜서 조사원 풀이 두텁게 형성돼 있다. 이 모든 요인이 합쳐져 한국은 세계에서 가장 싸게 대면 종단조사를 굴릴 수 있는 나라가 되었다.

그런데 여기서 중요한 것은, 저단가는 필요조건이지 충분조건이 아니라는 점이다. 단가가 쌌기 때문에 부처별·지자체별로 독립 패널을 띄울 엄두가 났고, 단가가 SOEP 수준이었다면 재정당국이 절대 허락하지 않았을 분산 구축이 한국에서는 제도적으로 지속 가능해졌다. 거꾸로 이 분산 구조는 다시 조사 시장을 "저단가 × 고빈도 공공발주"로 평탄화시키며 피드백 루프를 만들었다. 두 요인은 서로를 강화한다.

4. 그래서 한국은 '중구난방'인가

러프하게 말하면 그렇다. 다만 '비효율'이라는 단어를 어느 층위에서 쓰느냐에 따라 평가가 갈린다.

개별 패널의 방법론 설계는 의외로 나쁘지 않다. KLIPS, KLoSA(고령화연구패널), 재정패널, 여성가족패널 정도는 국제적으로도 제법 평가받고 있고 CNEF·CPF에 편입돼 있다. 담당 국책연구기관의 방법론 역량 자체는 세계 수준에 근접해 있다.

진짜 약한 곳은 패널 생태계 전체를 조망하는 메타 설계 쪽이다. "대한민국이 향후 20년간 사회·경제를 관측하기 위해 어떤 종단 인프라를 어떤 층위로 구축할 것인가"를 그리는 국가 차원의 마스터플랜이 없다. 통계청이 아직 MAF(Master Address File)를 갖지 못한 것과 정확히 같은 계열의 공백이다. 각 부처·국책연구기관이 자기 예산과 성과지표 안에서 각자도생하고, 그 결과가 지금의 패널 풍경이다.

좀 더 구체적으로 말하면 — 패널 간 변수 표준화가 안 돼 있어 교차 분석이 어렵고, 행정데이터 연계 수준도 패널마다 들쭉날쭉이고, 표본 설계 철학(가구 vs 개인, 확률표집 vs 할당, 추적 규칙)도 제각각이다. 이 상태에서 "한국은 패널 강국"이라고 말하는 것은 항공편 수만 세고 허브공항이 없다는 사실을 말하지 않는 것과 비슷하다.

5. 그럼에도 일방적으로 깎아내릴 수는 없는 이유

중구난방 구조에도 긍정적 부산물은 있다. 부처·지자체별 독립 발주 구조 덕분에 정책 수요에 반응하는 속도가 빠르다. 난민인정자 체류실태 패널이 법무부 단독 판단으로 몇 달 만에 돌 수 있는 나라는 많지 않다. 조사업계에는 꾸준한 일감이 공급되고, 방법론 종사자 풀이 두텁게 유지된다. 영국식 대형 통합 패널은 우아하지만 경직된다 — 신규 하위집단 연구를 붙이려면 몇 년이 걸린다.

그러나 이 모델의 전제 조건들이 지금 흔들리고 있다. 조사원 고령화와 공급 축소, 응답률 하락, 대면조사 기피, 최저임금·4대보험 이슈로 실사 단가가 최근 몇 년 사이 빠르게 오르고 있다. 저단가 F2F라는 멍석이 낡고 있는 것이다. 그만큼 웹·모바일·혼합모드로 넘어가는 패널이 늘고 있고, 플랫폼 패널(카카오뱅크, SKT 등)을 활용한 하이브리드 설계도 확산 중이다.

결론 — 평가는 정확하게 하자

한 문장으로 정리하면 이렇다.

한국의 개별 패널 방법론은 중상위권이지만, 국가 종단 인프라로서의 아키텍처는 존재하지 않는다. 저단가 F2F 시장이 이 아키텍처 부재를 오랫동안 가려주는 완충재 역할을 해왔다.

"한국은 패널 강국"이라는 통념은, 정확히 말하면 "한국은 국가 발주 패널조사가 주제·하위집단별로 이례적으로 세분화·다발화되어 있고, 공공조달 시장으로 제도화된 정도가 선진국 대비 매우 높은 나라" 정도로 번역되어야 한다. 이걸 '강국'이라고 부르고 싶다면 그래도 좋다. 다만 그 강국은 허브공항 없이 지선 항공편만 많은 공항 시스템에 가깝다는 점은 짚고 가야 한다.

그리고 이 완충재가 벗겨지는 향후 5년, 한국의 패널 생태계가 지금의 분산 모델을 그대로 끌고 갈지, 아니면 뒤늦게라도 영국·독일식 통합 아키텍처로 수렴할지는 조사 방법론 종사자라면 꼭 지켜볼 만한 관전 포인트다. 개인적으로는 후자로 가야 한다고 생각하지만, 그러려면 각 기관의 예산과 성과지표부터 재설계해야 한다. 방법론 문제가 아니라 거버넌스 문제라는 뜻이다.