메소드서베이

Q276. 공론조사(deliberative polling)란 무엇인가? 제임스 피시킨이 개발한 방법으로, 대표성 있는 표본을 선정해 특정 이슈에 대한 균형 잡힌 정보를 제공하고 전문가·이해관계자와의 토론을 거친 후 의견을 측정하는 방식이다. 일반 여론조사가 즉각적 의견을 재는 것과 달리, 숙의 후 의견을 측정한다는 점이 핵심이다. 한국에서는 신고리 5·6호기 공론화가 대표적 사례다. 측정 도구이자 민주주의 실험이라는 이중적 성격을 갖는다. Q277. 공론조사는 여론을 측정하는가, 형성하는가? 형성한다. 이것이 공론조사의 본질이자 논쟁점이다. 숙의 전후 의견이 달라진다는 것은 공론조사가 있는 의견을 재는 것이 아니라 새로운 의견을 만든다는 뜻이다. 지지자들은 이것이 더 성숙하고 정보에 기반한 여론이라고 말한다. 비판자들은 특정 방향의 정보 제공과 토론 설계가 결과를 의도한 방향으로 유도할 수 있다고 말한다. 측정과 형성의 경계에 선 방법이다. Q278. 공론조사가 과학적 권위를 갖는다고 볼 수 있는가? 부분적으로만 그렇다. 확률표집, 사전·사후 측정, 통계 분석 등 과학적 외양을 갖추고 있다. 하지만 숙의 과정의 설계가 결과에 결정적 영향을 미치며, 이 설계는 가치 판단이 개입된 선택이다. 어떤 정보를 제공하는가, 어떤 전문가를 초청하는가, 토론을 어떻게 진행하는가가 모두 중립적이지 않다. 공론조사는 과학적 방법론에서 권위를 빌리지만, 핵심 설계는 과학적으로 검증할 수 없는 판단들로 이루어져 있다. Q279. 숙의(deliberation) 전후 의견 변화는 어떻게 해석해야 하는가? 신중하게 해석해야 한다. 변화가 정보 습득과 합리적 숙고의 결과일 수 있지만, 집단 역학, 사회적 압력, 정보의 선택적 제공, 권위자 효과의 결과일 수도 있다. 같은 방향으로 의견이 수렴된다면 합의가 아니라 동조일 수 있다. 특히 변화가 일관되게 특정 방향으로만 나타난다면 숙의 설계의 편향을 의심해야 한다. 변화량이 크다는 것이 반드시 좋은 숙의를 의미하지 않는다. Q2...

Q254. 신세틱 서베이란 무엇인가? 실제 사람을 조사하는 대신 AI가 특정 인구통계적 특성을 가진 가상의 응답자를 시뮬레이션해 응답을 생성하는 방법이다. LLM에게 "50대 보수 성향 남성이라면 이 질문에 어떻게 응답할 것인가"를 묻는 방식이다. 비용과 시간을 획기적으로 줄일 수 있다는 장점이 있다. 하지만 실제 사람의 응답이 아니라 언어모델이 학습한 패턴의 재현이라는 점에서 서베이의 본질적 전제를 흔든다. 가능성과 한계가 동시에 극단적인 방법이다. Q255. 신세틱 응답자는 실제 응답자를 대체할 수 있는가? 현재로서는 대체할 수 없다. 신세틱 응답자는 LLM 훈련 데이터에 포착된 집단의 평균적 표현을 재현할 뿐, 실제 개인의 복잡한 태도와 경험을 담지 못한다. 특히 한국 사회의 특수한 맥락, 최근 사건, 훈련 데이터에 충분히 반영되지 않은 집단의 의견은 재현 자체가 불가능하다. 탐색적 사전 검토, 설문지 파일럿, 가설 생성에는 유용할 수 있다. 그러나 실제 여론을 측정하는 목적으로는 아직 대체 수단이 되지 못한다. Q256. LLM 기반 신세틱 서베이의 근본적 한계는? LLM은 과거 텍스트를 학습한 모델이다. 실제 태도가 아니라 태도에 대한 기술(description)을 학습했다. "40대 진보 성향 여성은 이렇게 생각한다"는 텍스트 패턴을 재현하는 것이지, 실제 40대 진보 성향 여성의 내면을 시뮬레이션하는 것이 아니다. 더 근본적으로는 훈련 데이터에 없는 태도, 훈련 이후 변화한 여론, 침묵하는 다수의 의견은 원천적으로 재현할 수 없다. 신세틱 서베이는 훈련 데이터의 거울이다. Q257. 신세틱 서베이는 어떤 조건에서 유용한가? 실제 조사가 불가능하거나 윤리적으로 제한적인 상황에서 탐색적 목적으로 쓸 때 가치가 있다. 설문지 초안의 문항 반응 예측, 극단적 시나리오에 대한 가설 생성, 파일럿 조사 대체, 다언어 번역 검토 등이다. 또한 실제 조사 데이터와 비교 검증 목적으로 쓸 때 방법론적 의미가 있다. ...

Q231. 서베이 윤리의 핵심 원칙은 무엇인가? 크게 세 가지다. 첫째, 응답자 보호. 익명성 보장, 자발적 참여, 개인정보 보호가 포함된다. 둘째, 방법론적 정직. 설계, 분석, 보고 전 과정에서 의도적 왜곡이 없어야 한다. 셋째, 공중에 대한 책임. 서베이 결과는 여론을 형성하고 정책에 영향을 미친다. 응답자와의 계약, 의뢰인과의 계약, 공중과의 계약이 동시에 존재하며, 이 세 계약이 충돌할 때 어떤 원칙을 우선하는가가 서베이어의 윤리적 정체성을 결정한다. Q232. 응답자 익명성은 어떻게 보장해야 하는가? 개인 식별 정보와 응답 데이터를 분리 저장하는 것이 기본이다. 조사 번호로만 연결하고, 분석 단계에서는 개인 식별 정보에 접근할 수 없도록 해야 한다. 소규모 집단 조사에서는 인구통계 조합만으로도 개인이 특정될 수 있으므로 교차 집계 결과 공개 시 세밀한 분류를 피해야 한다. 익명성 보장은 법적 의무이기 전에 응답자와의 신뢰 계약이다. 이것이 깨지면 응답자가 솔직하게 응답할 이유가 사라진다. Q233. 조사 결과를 공개하지 않을 권리가 의뢰인에게 있는가? 계약상 권리는 있을 수 있지만 윤리적으로는 논쟁의 여지가 있다. 의뢰인이 비용을 냈으므로 결과 공개 여부를 결정할 권리가 있다는 주장이 있다. 반대로 공공 이슈에 관한 조사 결과를 선택적으로 은폐하는 것은 정보 왜곡이라는 주장도 있다. 특히 선거 관련 조사는 공직선거법상 공표 의무가 있다. 학술 조사에서는 데이터 공개와 재현 가능성이 점점 강화되는 규범이 되고 있다. 결과를 숨길 권리와 공개할 의무 사이의 긴장은 쉽게 해소되지 않는다. Q234. 부분 공개는 윤리적으로 허용되는가? 결과에 따라 다르다. 자신에게 유리한 결과만 발표하고 불리한 결과는 숨기는 것은 여론 조작에 가깝다. 선거 여론조사에서 특정 후보 지지율만 발표하고 다른 후보 수치는 공개하지 않는다면, 공개된 정보가 사실이더라도 그 행위는 기만적이다. 부분 공개가 허용되려면 공개하지 않은 부분이 있다는 사실 자체를 밝혀야 한다....

Q207. 기술통계와 추론통계를 혼동하면 어떤 문제가 생기는가? 기술통계는 수집된 데이터 자체를 요약하고, 추론통계는 표본에서 모집단을 추정한다. 혼동하면 표본의 특성을 모집단의 사실인 양 단정하거나, 반대로 추론이 필요한 상황에서 기술통계만으로 결론을 내린다. 가장 흔한 오류는 표본 내 차이를 통계적 검정 없이 모집단 차이로 서술하는 것이다. "20대의 47%가 찬성했다"는 기술이고, "20대는 찬성하는 경향이 있다"는 추론이다. 이 두 문장이 다르다는 것을 모르면 분석 전체가 흔들린다. Q208. 교차분석에서 무엇을 봐야 하는가? 단순히 셀 비율만 볼 것이 아니라 세 가지를 함께 봐야 한다. 첫째, 집단 간 차이의 방향과 크기. 둘째, 그 차이가 통계적으로 유의한지. 셋째, 셀 빈도가 검정에 충분한지다. 카이제곱 유의확률만 보고 끝내는 분석은 반쪽짜리다. 차이가 어느 셀에서 왔는지, 표준화 잔차가 큰 셀이 어디인지 확인해야 한다. 또한 행 퍼센트로 볼지 열 퍼센트로 볼지를 분석 목적에 맞게 선택해야 한다. 방향을 바꾸면 다른 이야기가 나온다. Q209. 통계적으로 유의하지 않은 차이를 보고해야 하는가? 보고해야 한다. 유의하지 않다는 것은 차이가 없다는 것이 아니라, 주어진 표본 크기에서 차이가 있다고 확신하기 어렵다는 것이다. 유의하지 않은 결과를 숨기면 출판 편향과 같은 구조적 왜곡이 생긴다. 특히 탐색적 조사에서는 유의하지 않은 결과도 향후 설계에 중요한 정보다. 단, 유의하지 않은 차이를 서술할 때는 "차이가 없다"가 아니라 "차이가 확인되지 않았다"고 표현해야 정확하다. Q210. 소수점 몇 자리까지 보고해야 하는가? 측정의 정밀도를 넘어서는 소수점은 의미가 없다. 응답자 1,000명 기준 퍼센트는 0.1%p 단위가 의미 있는 최소 단위다. 소수점 둘째 자리(0.01%p)는 표집오차(±3.1%p)에 비해 무의미하게 정밀하다. 그럼에도 보고서에 42.37% 같은 숫자...