메소드서베이

  한국은 정말 '패널조사 강국'인가 — 나라장터 100건이 보여주는 착시 들어가며 최근 나라장터에서 '패널조사' 키워드로 최근 개찰 결과 100건을 훑어볼 일이 있었다. 1년 남짓한 기간에 쏟아진 공고만 나열해도 한국노동패널, 고령화연구패널, 청년패널2021, 여성가족패널, 한국아동·청소년패널, 장애인고용패널, 장애인삶패널, 산재보험패널, 재정패널, 국민노후보장패널, 여성관리자패널, 사업체패널, 한국미디어패널, 교육고용패널, 인적자본기업패널, 경북·대구·전남 교육종단연구, 서울·부산·인천·대구·경기 소상공인 패널, 농어촌기본소득 가구패널, 에너지바우처 패널, 가구에너지패널, 서울·부산 청년패널, 대안교육기관 패널, 한국장학패널, 난민인정자 체류실태 패널, 공상공무원 패널, 어르신 일과 삶 패널, 청소년건강패널까지 족히 40종이 넘는다. 이 목록을 보고 많은 이들이 "한국이 다른 선진국에 비해 종단조사가 탁월하게 많다"고 말한다. 정책 담당자도, 연구자도, 학회 발표에서도 심심찮게 듣는 이야기다. 그런데 이 통념은 절반만 맞다. 오늘은 이 절반의 진실과 절반의 착시를 해부해 보려 한다. 1. "선진국보다 많다"는 통념은 국제비교에 취약하다 국가 간 종단조사 인프라를 비교할 때 흔히 인용되는 것이 CPF(Comparative Panel File) 프로젝트다. CPF는 "세계에서 가장 규모가 크고 오래된 가구 패널"로 7개국을 묶는데, 미국(PSID), 독일(SOEP), 영국(BHPS/UKHLS), 호주(HILDA), 스위스(SHP), 러시아(RLMS), 그리고 한국(KLIPS)이다. 한국은 이 그룹의 '특이하게 많은' 국가가 아니라 '그 그룹의 일원'이다. 개별 국가 내부를 들여다보면 그림은 오히려 반대에 가깝다. 미국 : PSID(1968~)라는 세계 최장수 패널 위에 HRS(고령), NLSY(청년 코호트 여럿), Add Health, ...

  한국 서베이 방법론은 왜 1세대 조사회사가 이끌었나 — 학계·업계의 제한된 협업과 양방향 정보비대칭 부재한 학위, 부재한 노드 미국과 유럽 일부 국가에는 서베이 방법론(Survey Methodology) 자체를 하나의 학제로 세운 대학원 과정이 있다. 미시간의 MPSM, 메릴랜드의 JPSM, 네브래스카, 유럽의 GESIS, Essex, Utrecht 등이 대표적이다. 이들은 표집, 측정, 무응답, 가중, 총조사오차(TSE) 같은 주제를 독립된 커리큘럼으로 묶어 석·박사를 배출한다. 한국에는 이런 트랙이 사실상 없다. 통계학과에서 표본론의 일부를, 사회학·정치학·심리학과에서 설문 설계와 측정론의 일부를 분산해서 다룰 뿐이고, 스스로를 "서베이 방법론자"로 정체화한 교수는 손에 꼽을 정도다. 학위 과정이 없으니 후속 세대가 자랄 토양 자체가 빈약했고, 결국 학계가 비워둔 자리를 1세대 조사회사들 — 갤럽, 미디어리서치, TNS, 코리아리서치 등 — 이 실질적으로 메웠다. 한국 서베이 방법론의 형성 과정을 이야기할 때 학계가 아닌 업계를 먼저 호명해야 하는 이유다. 그 구도의 양면성 이 구도는 양면을 갖는다. 긍정적인 면은 분명하다. 현장에서 클라이언트 요구와 한국적 조건 — 주민등록 기반 표집틀의 부재, RDD에서 모바일로의 급격한 전환, 짧은 필드 기간, 선거 보도의 실시간성 압력 — 에 부딪히며 다듬어진 방법론이기에 매우 적응적이고 응용력이 강하다. SMS 표집틀, 안심번호, 통신사 패널, 셀가중 같은 한국 특유의 해법들은 학계가 주도했다면 오히려 나오기 어려웠을 가능성이 높다. 부정적인 면은 더 구조적이다. 첫째, 지식이 회사 내부의 암묵지로 축적되어 표준화·문서화·동료심사를 거치지 않는다. 그래서 회사가 바뀌면 같은 문제를 또 푸는 일이 반복된다. 둘째, 비판적 검증의 외부 장치가 부재하다. 미국이라면 AAPOR Standards나 학술지 리뷰가 거르는 것들이 한국에선 그냥 통용된다. 셋째, 후속 인력 양성이 도제식이라 확...

  조사구 대신 한국형 MAF를 만들자: 통계조사 패러다임 전환을 위한 제언 들어가며: 우리는 왜 아직 문을 두드리고 있나 매년 수십 개의 국가 승인 통계가 생산된다. 사회조사, 가계조사, 주거실태조사, 농림어업총조사…. 이 조사들은 하나같이 비슷한 방식으로 시작된다. 훈련받은 조사원이 지정된 구역을 찾아가고, 모르는 집의 초인종을 누르고, 때로는 여러 번 다시 찾아가며 응답을 구한다. 2025년, 스마트폰으로 주민등록을 갱신하고 병원 예약을 하는 나라에서. 왜 우리는 아직 문을 두드리고 있을까. 답은 간단하지 않다. 기술이 없어서가 아니다. 의지가 없어서도 아니다. 문제는 구조다. 정확히는 표집틀(Sampling Frame) 이라는 조사방법론의 가장 기초적인 개념에서 시작된다. 그리고 그 구조를 바꾸는 열쇠가 바로 우리가 이 글에서 이야기할 한국형 MAF(Master Address File) 다. 1. 표집틀이란 무엇이고, 왜 중요한가 통계조사에서 표집틀은 '누구를 뽑을 수 있는가'를 결정하는 모집단의 목록이다. 선거로 비유하면 유권자 명부다. 명부에 없는 사람은 애초에 선거에 참여할 수 없듯, 표집틀에 없는 가구는 조사 대상이 될 수 없다. 한국의 주요 국가 통계조사는 조사구(Enumeration District) 를 표집틀로 사용한다. 조사구는 전국을 약 60가구 규모의 지역 단위로 쪼갠 것이다. 통계청은 이 조사구를 1차로 뽑고, 현장에 조사원을 보내 그 안의 가구를 확인한 뒤 2차로 일부 가구를 표본으로 선정한다. 이 방식의 장점은 명확하다. 인터넷도 없고 전화번호도 모르는 가구까지 포함할 수 있고, 지역 단위로 층화(stratification)가 가능하다. 1950년대 이후 전 세계 대부분의 국가 통계가 이 방식으로 운영됐다. 그러나 결정적인 한계가 있다. 조사구는 지역 경계선일 뿐, 개별 가구의 연락처를 담고 있지 않다. 그래서 조사원이 직접 가야 한다. 가구를 확인하고, 목록을 만들고, 방문하고, 설득하고,...

  산소마스크를 단 전화조사 좋은 인프라가 혁신을 지연시킬 때 한국 전화조사의 축복 한국의 공표용 선거여론조사 환경은 세계적으로 보기 드문 축복을 누리고 있다. 가상번호(안심번호) 제도는 이동통신사 가입자 전체에서 성별, 연령, 지역 기준으로 무작위 추출된 전화번호를 제공한다. 사실상 확률 표본에 가까운 표집틀을 국가가 만들어주는 것이다. 전화면접이든 ARS든 관계없이 이 번호를 받을 수 있고, 오토다이얼링으로 휴대전화에 자유롭게 발신할 수 있다. 법적 제약이 없다. 이것이 얼마나 특별한 환경인지는 미국과 비교하면 분명해진다. 미국에는 1991년에 제정된 TCPA(Telephone Consumer Protection Act)라는 법이 있다. 이 법은 사전 동의 없이 자동 다이얼러(autodialer)로 휴대전화에 전화를 거는 것을 금지한다. 여론조사도 예외가 아니다. 미국에서 휴대전화로 여론조사를 하려면, 면접원이 전화번호를 손으로 직접 눌러야 한다. 수백 명의 면접원이 물리적으로 번호를 찍는 것이다. 유선전화에서는 오토다이얼링이 가능했지만, 유선전화 보유 가구가 급감하면서 커버리지가 무너졌다. 휴대전화를 포함하려면 수동 다이얼링 비용을 감수해야 한다. 전화조사의 비용이 계속 올라가는 동안 웹조사의 비용은 계속 떨어졌고, 미국의 조사업계는 비확률 온라인 패널 중심으로 재편됐다. 확률 표본이라는 전화조사의 핵심 장점을 사실상 포기한 것이다. 한국은 이 딜레마가 없다. 오토다이얼링이 자유롭고, 가상번호가 확률 기반 표집틀을 제공하고, 소지역 타겟팅까지 가능하다. 미국이 비용과 법 때문에 포기한 것들을 한국은 다 갖고 있다. 전화조사를 하기에 이보다 좋은 환경은 세계 어디에도 없다. 그런데 전화를 안 받는다 문제는 전화를 받는 쪽에서 일어났다. 모르는 번호로 걸려오는 전화를 받는 것은 이미 일상적인 행위가 아니다. 젊은 층은 말할 것도 없고, 50~60대도 낯선 번호의 전화를 꺼리는 시대가 됐다. 통화라는 커뮤니케이션 방식 자체가 후퇴...

  전화면접 대 ARS, 20년 전쟁의 전말 한국 여론조사 업계가 방법론 연구 대신 선택한 것 2014년 7월 14일, 한국조사협회(KORA)는 41개 회원사 명의로 결의문을 발표했다. "ARS 여론조사를 수행하지 않겠다." 나아가 언론에도 ARS 조사 결과를 보도하지 말 것을 권고했다. 비과학적이라는 이유였다. 9년 뒤인 2023년 10월, 한국조사협회는 다시 한번 같은 선언을 했다. 이번에는 34개 회원사 명의로 '정치선거 전화여론조사기준'을 제정하며, ARS를 "과학적인 조사 방법이 아닐 뿐만 아니라 통신 환경마저 훼손하는 바람직하지 않은 방식"이라고 규정했다. 같은 주장을 9년 만에 한 번 더 해야 했다는 것은, 2014년의 선언이 작동하지 않았다는 뜻이다. ARS는 어떻게 한국 선거조사 시장을 장악했는가 ARS 조사기관은 1990년대 선거기획사에서 독립한 소규모 업체들로 시작했다. 2000년대 초반 5곳 안팎이던 것이 한때 70여 곳까지 폭발적으로 늘었다. 이유는 단순하다. 싸고 빠르다. 전화면접은 면접원을 고용하고, 교육하고, 관리해야 한다. 조사비는 크게 오르지 않는데 인건비는 계속 올랐다. ARS는 녹음된 음성과 자동 발신 장비만 있으면 된다. 노트북 한 대로 30㎡ 오피스텔에서 운영할 수 있다. 전화면접 대비 비용이 3분의 1에서 4분의 1 수준이다. 정치권은 이 가격에 반응했다. 후보자 개인이, 소규모 정당이, 인터넷 언론사가 여론조사를 의뢰할 수 있게 됐다. 2022년 지방선거 기준, 전체 여론조사의 77.7%가 ARS였다. ARS가 시장을 장악한 것이 아니라, 시장이 ARS를 선택한 것이다. "미국에서도 퇴출된 방식" — 그 비교는 정확한가 한국조사협회와 학계가 ARS를 비판할 때 자주 동원한 레퍼런스가 있다. "미국에서도 ARS(IVR)는 퇴출됐다"는 것이다. 사실 관계만 놓고 보면 틀린 말은 아니다. 미국에서 IVR 여론조사는 ...

리커트 척도, 짝수냐 홀수냐가 문제가 아니다 — 단극(Unipolar)과 양극(Bipolar)을 모르면, 척도 설계는 동전 던지기다 서베이 설계를 하다 보면 이런 논쟁을 반드시 만난다. "5점으로 할까요, 4점으로 할까요?" 그리고 대부분 이렇게 결론 난다. "중립 응답이 몰리니까 4점으로 합시다." 이 판단이 맞을 수도 있고, 치명적으로 틀릴 수도 있다. 그 갈림길은  "지금 이 척도가 단극인가, 양극인가" 에 달려 있다. 그런데 놀랍게도 이 질문을 먼저 던지는 사람은 거의 없다. 양극 척도: 두 개의 극이 대칭을 이루는 구조 양극(bipolar) 척도는  의미적으로 반대되는 두 극  사이에 응답자를 위치시킨다. 가장 흔한 예는 이것이다. ① 매우 반대한다 ② 반대한다 ③ 보통이다 ④ 찬성한다 ⑤ 매우 찬성한다 ←← ← ■ 중립 → →→ 여기서 핵심은 "보통이다"가  진짜 중립 이라는 점이다. 찬성도 아니고 반대도 아닌, 의미 있는 제로 포인트(zero point)가 존재한다. 왼쪽으로 갈수록 반대의  강도 가 올라가고, 오른쪽으로 갈수록 찬성의  강도 가 올라간다. 두 방향이  거울처럼 대칭 이다. 양극 척도의 특징: 중립점이 개념적으로 자연스럽다 두 방향 모두 "강도"를 가진다 중립점을 기준으로 좌우가 대칭이다 단극 척도: 하나의 속성이 0에서 Max로 움직이는 구조 단극(unipolar) 척도는  하나의 속성 이 없는 상태에서 최대 상태로 올라가는 구조다. ① 전혀 만족하지 않는다 ② 별로 만족하지 않는다 ③ 약간 만족한다 ④ 매우 만족한다 0 Low Mid High 여기서 "전혀 만족하지 않는다"는  불만족이 아니다.  만족이라는 속성이 제로(0)인 상태다. 반대편에 "불만족"이라는 별도의 극이 존재하지 않는다. 그저 만족의 양이 적은 것이다. 단극 척도의 특징: 의미론적 중립이 존재하지 않는다 (0은 "없음"...

  들어가며 — 이상한 동거 공론조사, 혹은 숙의조사라 불리는 이 방법론은 오늘날 한국에서도 제법 익숙한 이름이 되었습니다. 정부 정책 결정의 도구로, 갈등 해소의 처방으로, 때로는 민주주의의 업그레이드 버전으로 소개됩니다. 그런데 저는 오늘 이 자리에서 한 가지 불편한 질문을 던지고자 합니다. 공론조사는 과연 '조사'인가요? 혹은 더 직접적으로 — 공론조사는 왜 여론조사 회사가 하고 있습니까? 왜 표본오차를 제시하고, 왜 과학적 절차를 강조합니까? 저는 이것이 단순한 방법론적 혼선이 아니라, 태생부터 내장된 구조적 문제라고 생각합니다. 1부 — 개념의 기원: 철학자의 몽상 공론조사(Deliberative Polling)는 스탠퍼드 대학의 제임스 피시킨(James Fishkin) 교수가 1988년 처음 제안하고, 이후 로버트 러스킨(Robert Luskin)과 함께 발전시킨 방법론입니다. 피시킨의 출발점은 여론조사가 아니었습니다. 그것은 민주주의 이론, 더 정확히는 심의민주주의(deliberative democracy)의 규범적 이상이었습니다. 그가 던진 질문은 이것입니다. "시민들이 충분한 정보를 갖고 진지하게 숙고한다면, 여론은 어떻게 달라질까?" 아름다운 질문입니다. 동시에, 이것은 철저히 규범적(normative) 질문입니다. "~한다면"으로 시작하는, 현실이 아닌 이상 조건의 언어입니다. 피시킨은 하버마스(Jürgen Habermas)의 이상적 담화 상황(ideal speech situation) — 권력과 왜곡 없이 오직 더 나은 논거의 힘만이 작동하는 소통의 공간 — 을 실험실에 구현하고자 했습니다. 이것은 정치철학의 사고실험이었습니다. 문제는, 이 사고실험이 어느 순간 실증적 방법론으로 탈바꿈 했다는 것입니다. 철학의 언어가 통계의 언어로 번역되었고, 규범적 이상이 측정 가능한 수치로 포장되었습니다. 이 번역의 과정이 저는 석연찮습니다. 2부 — 과학의 외피: ...