메소드서베이

  사라진 것은 전화가 아니라 동시성이다 — 전화조사 응답률 하락의 기저에 대하여 전화조사 응답률은 왜 계속 떨어지는가. 업계에서는 익숙한 설명들이 있다. 과잉조사, 스팸 전화, 보이스피싱에 대한 경계, 선거철 여론조사의 피로. 모두 일리가 있다. 그러나 이것들은 표면의 설명이다. 만약 전화조사 응답률 하락이 정말 이 수준의 원인들로만 설명된다면, 메시지 기반 조사는 지금보다 훨씬 높은 응답률을 유지해야 할 것이다. 현실은 그렇지 않다. 모든 동기적 접촉 방식의 응답률이 장기 추세로 하락하고 있다. 그래서 이 글은 응답률 하락을 한 단계 깊은 층위에서 다시 읽어 보려 한다. 전화조사 응답률의 하락은 조사 방법론 내부의 문제라기보다, 커뮤니케이션의 구조적 재편이라는 거대한 흐름의 특수한 한 단면이다. 1. 무엇이 실제로 변하고 있는가 "요즘 사람들은 대화보다 문자를 좋아한다"는 진단은 반쯤만 맞다. 음성 커뮤니케이션이 전반적으로 쇠퇴했다고 보기는 어렵다. 팟캐스트, 유튜브, 음성 메시지, 영상 통화는 모두 양적으로 팽창했다. 정확히 쇠퇴한 것은 '음성' 자체가 아니라 실시간으로 상호가 시간을 맞춰야 하는 커뮤니케이션 이다. 즉 우리가 목격하고 있는 것은 '대화에서 문자로'의 이동이 아니라, 동기식에서 비동기식으로 의 이동이다. 이 재정의가 가져다주는 설명력의 차이는 결정적이다. 그리고 수치적으로도 뒷받침된다. 영국 Ofcom은 2011년 모바일 음성통화 총량이 처음으로 감소했음을 보고했다. 이후 추세는 지속되고 있다. 미국 성인의 평균 주간 텍스팅 시간은 약 23시간에 달하는 반면, 하루 음성통화 시간은 15분 미만이다. 국내 자료에서도 방향은 같다. 알바천국 조사 기준으로 MZ세대의 약 30%, Z세대의 약 40%가 이른바 '콜포비아'를 스스로 보고한다. 대학내일20대연구소 조사에서 X세대는 과반(58%)이 통화를 주된 소통 수단으로 쓰는 반면, MZ세대는 SNS 선호가 평균 65.5%로...

서베이, 300번 묻다 총조사오차의 눈으로 본 서베이 방법론 문답집 ________________________________________ 서문 서베이는 쉬운 일처럼 보인다. 질문을 만들고, 사람을 모으고, 숫자를 낸다. 그런데 그 각각의 단계가 얼마나 복잡하고 민감한 작업인지를 아는 사람은 많지 않다. 누구에게 물을 것인가, 어떻게 물을 것인가, 결과를 어떻게 읽을 것인가 — 이 세 질문 중 하나라도 허술하면 서베이는 현실이 아니라 왜곡을 생산한다. 이 글은 서베이에 관한 300개의 질문으로 이루어져 있다. 입문자가 던지는 질문도 있고, 20년 경력의 조사자가 여전히 고민하는 질문도 있다. 정답이 명확한 것도 있고, 트레이드오프만 있을 뿐 정답이 없는 것도 있다. 공통점은 하나다. 모두 서베이를 제대로 이해하려면 반드시 통과해야 하는 질문들이다. 총조사오차(Total Survey Error) 프레임이 이 책의 뼈대다. 커버리지, 표집, 무응답, 측정, 처리, 가중, 분석 — 서베이의 모든 단계에서 오차가 생기고, 그 오차들은 서로 얽혀 있다. 좋은 서베이란 오차를 0으로 만드는 것이 아니라, 오차의 존재를 알고 관리하는 것이다. 300번의 질문 끝에 남는 것은 하나다. 서베이는 어렵고, 그 어려움을 아는 사람이 더 좋은 서베이를 만든다. ________________________________________ 1부. 서베이의 정의와 경계 Q1. 서베이는 정량조사인가? 일반적으로 그렇게 여겨지지만, 정확하지 않다. 서베이는 '체계적 수집'의 방법론이지 '정량'이라는 형식이 본질이 아니다. IDI나 FGD도 체계적으로 설계되면 서베이의 범주에 들어올 수 있다. 정량과 정성의 구분은 서베이를 이해하는 출발점이지, 서베이의 정의가 아니다. Q2. IDI(심층인터뷰)는 서베이인가? 넓은 의미에서는 서베이다. 표본을 선정하고, 구조화된 질문을 통해 태도·경험·인식을 수집하는 행위는 서베이의 본질과 다르지 않다. 다만 표준화 수준이 낮고 통...

Q276. 공론조사(deliberative polling)란 무엇인가? 제임스 피시킨이 개발한 방법으로, 대표성 있는 표본을 선정해 특정 이슈에 대한 균형 잡힌 정보를 제공하고 전문가·이해관계자와의 토론을 거친 후 의견을 측정하는 방식이다. 일반 여론조사가 즉각적 의견을 재는 것과 달리, 숙의 후 의견을 측정한다는 점이 핵심이다. 한국에서는 신고리 5·6호기 공론화가 대표적 사례다. 측정 도구이자 민주주의 실험이라는 이중적 성격을 갖는다. Q277. 공론조사는 여론을 측정하는가, 형성하는가? 형성한다. 이것이 공론조사의 본질이자 논쟁점이다. 숙의 전후 의견이 달라진다는 것은 공론조사가 있는 의견을 재는 것이 아니라 새로운 의견을 만든다는 뜻이다. 지지자들은 이것이 더 성숙하고 정보에 기반한 여론이라고 말한다. 비판자들은 특정 방향의 정보 제공과 토론 설계가 결과를 의도한 방향으로 유도할 수 있다고 말한다. 측정과 형성의 경계에 선 방법이다. Q278. 공론조사가 과학적 권위를 갖는다고 볼 수 있는가? 부분적으로만 그렇다. 확률표집, 사전·사후 측정, 통계 분석 등 과학적 외양을 갖추고 있다. 하지만 숙의 과정의 설계가 결과에 결정적 영향을 미치며, 이 설계는 가치 판단이 개입된 선택이다. 어떤 정보를 제공하는가, 어떤 전문가를 초청하는가, 토론을 어떻게 진행하는가가 모두 중립적이지 않다. 공론조사는 과학적 방법론에서 권위를 빌리지만, 핵심 설계는 과학적으로 검증할 수 없는 판단들로 이루어져 있다. Q279. 숙의(deliberation) 전후 의견 변화는 어떻게 해석해야 하는가? 신중하게 해석해야 한다. 변화가 정보 습득과 합리적 숙고의 결과일 수 있지만, 집단 역학, 사회적 압력, 정보의 선택적 제공, 권위자 효과의 결과일 수도 있다. 같은 방향으로 의견이 수렴된다면 합의가 아니라 동조일 수 있다. 특히 변화가 일관되게 특정 방향으로만 나타난다면 숙의 설계의 편향을 의심해야 한다. 변화량이 크다는 것이 반드시 좋은 숙의를 의미하지 않는다. Q2...

Q254. 신세틱 서베이란 무엇인가? 실제 사람을 조사하는 대신 AI가 특정 인구통계적 특성을 가진 가상의 응답자를 시뮬레이션해 응답을 생성하는 방법이다. LLM에게 "50대 보수 성향 남성이라면 이 질문에 어떻게 응답할 것인가"를 묻는 방식이다. 비용과 시간을 획기적으로 줄일 수 있다는 장점이 있다. 하지만 실제 사람의 응답이 아니라 언어모델이 학습한 패턴의 재현이라는 점에서 서베이의 본질적 전제를 흔든다. 가능성과 한계가 동시에 극단적인 방법이다. Q255. 신세틱 응답자는 실제 응답자를 대체할 수 있는가? 현재로서는 대체할 수 없다. 신세틱 응답자는 LLM 훈련 데이터에 포착된 집단의 평균적 표현을 재현할 뿐, 실제 개인의 복잡한 태도와 경험을 담지 못한다. 특히 한국 사회의 특수한 맥락, 최근 사건, 훈련 데이터에 충분히 반영되지 않은 집단의 의견은 재현 자체가 불가능하다. 탐색적 사전 검토, 설문지 파일럿, 가설 생성에는 유용할 수 있다. 그러나 실제 여론을 측정하는 목적으로는 아직 대체 수단이 되지 못한다. Q256. LLM 기반 신세틱 서베이의 근본적 한계는? LLM은 과거 텍스트를 학습한 모델이다. 실제 태도가 아니라 태도에 대한 기술(description)을 학습했다. "40대 진보 성향 여성은 이렇게 생각한다"는 텍스트 패턴을 재현하는 것이지, 실제 40대 진보 성향 여성의 내면을 시뮬레이션하는 것이 아니다. 더 근본적으로는 훈련 데이터에 없는 태도, 훈련 이후 변화한 여론, 침묵하는 다수의 의견은 원천적으로 재현할 수 없다. 신세틱 서베이는 훈련 데이터의 거울이다. Q257. 신세틱 서베이는 어떤 조건에서 유용한가? 실제 조사가 불가능하거나 윤리적으로 제한적인 상황에서 탐색적 목적으로 쓸 때 가치가 있다. 설문지 초안의 문항 반응 예측, 극단적 시나리오에 대한 가설 생성, 파일럿 조사 대체, 다언어 번역 검토 등이다. 또한 실제 조사 데이터와 비교 검증 목적으로 쓸 때 방법론적 의미가 있다. ...