메소드서베이

Q101. 설문지 설계는 과학인가, 기술인가? 둘 다지만 순서가 있다. 인지심리학, 언어학, 측정 이론 등 과학적 원리가 토대가 되고, 그 위에 현장 경험과 감각이 기술로 쌓인다. 원리만 아는 사람은 교과서적 설문지를 만들고, 감각만 있는 사람은 검증되지 않은 관행을 반복한다. 좋은 설문지는 원리를 이해하고 현장을 아는 사람이 만든다. 과학이 토대고 기술이 실행이다. Q102. 문항 순서가 응답에 영향을 미치는가? 결정적으로 영향을 미친다. 앞 문항이 뒤 문항의 해석 틀을 만든다. 대통령 국정운영 평가를 먼저 묻고 경제 만족도를 물으면, 순서를 바꿨을 때와 다른 결과가 나온다. 이것은 응답자가 부주의해서가 아니라 인간 인지의 정상적인 작동 방식이다. 문항 순서는 설계의 일부가 아니라 측정의 일부다. Q103. 일반적인 것에서 구체적인 것 순서가 항상 맞는가? 원칙으로는 그렇지만 예외가 있다. 구체적 사례를 먼저 물으면 응답자가 특정 프레임에 갇혀 이후 일반적 질문에 편향된 응답을 할 수 있다. 반대로 너무 추상적인 질문을 먼저 던지면 응답자가 맥락을 잡지 못하고 무의미한 응답을 한다. 원칙은 기준이지 규칙이 아니다. 조사 목적과 응답자 특성에 따라 판단해야 한다. Q104. 민감한 문항은 어디에 배치해야 하는가? 중반부 이후가 일반적 원칙이다. 너무 앞에 두면 응답자가 경계심을 갖고 조기 이탈하거나 이후 문항 전체에 방어적으로 응답한다. 너무 뒤에 두면 응답 피로와 겹쳐 무응답이 증가한다. 신뢰가 어느 정도 쌓인 중반부가 적절하다. 단, 민감한 문항 직전에 친밀감을 높이는 전환 문항을 두는 것도 효과적이다. Q105. 인구통계 문항을 마지막에 두는 이유는? 두 가지 이유가 있다. 첫째, 조사 시작부터 나이, 소득, 학력을 물으면 응답자가 심문받는 느낌을 받아 이탈률이 높아진다. 둘째, 인구통계는 분석의 보조 변수이지 핵심 측정 내용이 아니다. 핵심 문항을 앞에 배치해 응답 품질을 확보하는 것이 우선이다. 단, 스크리닝 목적의 인구통계(예: 연령...

Q78. 응답률과 데이터 품질은 비례하는가? 비례하지 않는다. 응답률이 높아도 응답자와 무응답자의 특성이 비슷하다면 편향이 작다. 반대로 응답률이 낮아도 무응답이 무작위적이라면 데이터 품질은 유지된다. 핵심은 응답률 자체가 아니라 무응답이 어떤 패턴을 갖는가다. 응답률 70%인 편향된 조사보다 응답률 20%인 무작위 무응답 조사가 나을 수 있다. Q79. 응답률 10%와 50%의 데이터 중 어느 것이 더 믿을 만한가? 단정할 수 없다. 응답률 10%여도 무응답자와 응답자의 특성이 유사하다면 편향이 없다. 응답률 50%여도 특정 집단이 체계적으로 응답을 거부했다면 편향이 크다. 중요한 것은 응답률이 아니라 무응답 메커니즘이다. 다만 응답률이 낮을수록 무응답 메커니즘이 랜덤일 가능성은 줄어든다. 낮은 응답률은 경고 신호다. Q80. 무응답 오차와 무응답률은 어떻게 다른가? 무응답률은 조사에 참여하지 않은 비율이다. 무응답 오차는 그로 인해 추정값이 실제와 달라지는 정도다. 무응답률이 높아도 오차가 작을 수 있고, 무응답률이 낮아도 오차가 클 수 있다. 무응답 오차는 무응답률과 응답자·무응답자 간 특성 차이의 곱으로 결정된다. 둘을 혼동하면 잘못된 진단이 나온다. Q81. 단위 무응답과 항목 무응답은 어떻게 다른가? 단위 무응답은 조사 자체에 참여하지 않는 것이다. 전화를 끊거나, 설문 링크를 열지 않거나, 동의를 거부한 경우다. 항목 무응답은 조사에는 참여했지만 특정 문항에 답하지 않은 것이다. 소득, 나이, 정치 성향처럼 민감한 문항에서 자주 발생한다. 두 유형은 발생 원인과 처리 방법이 다르다. Q82. 무응답이 랜덤하면 문제가 없는가? 완전히 랜덤한 무응답(MCAR)이라면 편향은 없다. 하지만 현실에서 완전 랜덤 무응답은 드물다. 더 중요한 것은, 무응답이 랜덤인지 아닌지를 확인하기가 매우 어렵다는 점이다. 무응답자의 데이터가 없기 때문이다. MCAR은 가정이지 확인된 사실이 아닌 경우가 많다. Q83. MAR(무작위 결측)과 MNAR(비무...

Q53. 표집오차 ±3.1%p는 어디서 나오는가? n=1,000, 신뢰수준 95%, 응답 비율 p=0.5일 때 공식 1.96×√(0.5×0.5/1000)을 계산하면 약 ±3.1%p가 나온다. 여기서 p=0.5를 쓰는 이유는 이때 분산이 최대가 되기 때문이다. 즉 가능한 모든 응답 비율 중 가장 큰 오차를 보수적으로 제시하는 것이다. n=1,000이라는 관행도 이 숫자를 목표로 역산한 결과다. Q54. 왜 최대 표집오차를 제시하는가? 실제 조사에서는 문항마다 응답 비율이 다르다. 60%가 찬성하면 표집오차는 ±3.1%p보다 작아진다. 하지만 조사 결과를 발표할 때 문항별로 다른 오차를 제시하면 복잡하다. 그래서 모든 비율에 적용 가능한 최대값, 즉 p=0.5 기준의 오차를 단일 대표값으로 쓴다. 보수적이지만 간명한 선택이다. Q55. 95% 신뢰수준이란 무엇을 의미하는가? 같은 방식으로 100번 반복 조사하면 그 중 95번은 신뢰구간 안에 모집단 참값이 포함된다는 의미다. 이번 조사 결과가 95% 확률로 맞다는 뜻이 아니다. 이 구분은 중요하다. 현재 손에 든 조사 결과가 그 95번 안에 드는지, 아닌 5번 안에 드는지는 알 수 없다. 신뢰수준은 방법에 대한 장기적 보장이다. Q56. 표집오차가 없어도 조사가 틀릴 수 있는가? 얼마든지 가능하다. 표집오차는 TSE의 일부일 뿐이다. 표집 과정이 완벽해도 편향된 질문, 낮은 응답률, 특정 집단의 과소 대표, 가중치 오류가 있으면 결과는 왜곡된다. 표집오차를 줄이는 데 집중하면서 다른 오차를 방치하는 것은 문을 잠갔는데 창문을 열어두는 것과 같다. Q57. 비확률표집에서 표집오차를 제시해도 되는가? 엄밀히는 안 된다. 표집오차는 확률표집을 전제로 하는 개념이다. 무작위 선정이 없으면 표본 분포 이론이 성립하지 않고, 그 토대 위에서 계산되는 표집오차도 의미를 잃는다. 그러나 현실에서 온라인 패널 조사에 ±3.1%p를 붙이는 관행이 광범위하다. 수치는 있지만 의미는 없는 숫자다. Q58. 온라인 패널...

Q28. 모집단은 누가 정의하는가? 연구자가 정의한다. 그리고 그 정의는 항상 선택의 결과다. '전국 성인'으로 할지, '만 18세 이상'으로 할지, '스마트폰 보유자'로 한정할지 — 이 결정이 이후 모든 설계를 규정한다. 모집단 정의가 느슨하면 표집틀도 가중치도 흔들린다. 조사의 첫 번째 결정이자 가장 중요한 결정이다. Q29. '전국 만 18세 이상 성인'이라는 모집단 정의는 정확한가? 관행적으로 쓰이지만 허점이 많다. 외국인은 포함인가? 시설 거주자는? 노숙인은? 군인은? '성인'이라는 말도 법적 기준과 조사 기준이 다를 수 있다. 대부분의 조사는 이 질문을 그냥 넘긴다. 하지만 넘기는 순간 커버리지 오차가 조용히 쌓이기 시작한다. Q30. 표집틀과 모집단이 일치하는 경우가 있는가? 현실에서는 거의 없다. 표집틀은 모집단의 근사치일 뿐이다. 전화번호부는 전화가 없는 사람을 빠뜨리고, 온라인 패널은 인터넷을 쓰지 않는 사람을 빠뜨린다. 일치에 가장 가까운 것은 주민등록부이지만, 이것도 사망 미신고, 장기 해외 체류자 등의 문제가 있다. 완전한 일치는 이상에 가깝다. Q31. 한국에서 가장 좋은 표집틀은 무엇인가? 목적에 따라 다르다. 전화조사라면 무선전화 가상번호(RDD)가 현재 가장 넓은 커버리지를 갖는다. 온라인 조사라면 대형 패널이지만 자발적 참여 편향이 있다. 이론적으로 가장 우수한 것은 주민등록부 기반 주소 표집틀이지만 접근이 제한적이다. 완벽한 표집틀은 없고, 차선을 선택하는 것이 현실이다. Q32. RDD(무작위전화걸기)의 표집틀은 무엇인가? 전화번호 공간 전체다. 존재하는 번호와 존재하지 않는 번호를 포함한 모든 가능한 번호 조합에서 무작위로 추출한다. 덕분에 전화번호부에 없는 번호도 커버할 수 있다. 하지만 전화를 아예 쓰지 않는 사람, 수신 거부를 설정한 사람은 커버하지 못한다. RDD도 완전하지 않다. Q33. 온라인 패널의 표집틀 문제는 무엇인가?...

  Q1. 서베이는 정량조사인가?  일반적으로 그렇게 여겨지지만, 정확하지 않다. 서베이는 '체계적 수집'의 방법론이지 '정량'이라는 형식이 본질이 아니다. IDI나 FGD도 체계적으로 설계되면 서베이의 범주에 들어올 수 있다. 정량과 정성의 구분은 서베이를 이해하는 출발점이지, 서베이의 정의가 아니다. Q2. IDI(심층인터뷰)는 서베이인가?  넓은 의미에서는 서베이다. 표본을 선정하고, 구조화된 질문을 통해 태도·경험·인식을 수집하는 행위는 서베이의 본질과 다르지 않다. 다만 표준화 수준이 낮고 통계적 집계를 목적으로 하지 않는다는 점에서 좁은 의미의 서베이와 구별된다. 경계는 생각보다 흐릿하다. Q3. FGD(포커스그룹)는 서베이인가?  FGD는 서베이의 인접 영역이다. 응답자를 표집하고, 질문 가이드를 설계하고, 결과를 분석한다는 점에서 서베이 방법론의 언어로 평가할 수 있다. 실무에서는 설문지 개발 전 탐색 단계로 쓰이며, 정량 서베이와 하나의 연구 설계 안에 공존한다. 완전히 다른 세계가 아니다. Q4. 빅데이터가 있으면 서베이가 필요 없는가?  빅데이터는 행동 데이터다. 사람들이 무엇을 했는지는 알 수 있지만, 왜 했는지, 어떻게 생각하는지는 알 수 없다. 태도·의견·가치관은 물어봐야만 알 수 있는 영역이다. 빅데이터 시대에 서베이는 오히려 더 중요해진다. 측정할 수 없는 것을 측정하는 유일한 도구이기 때문이다. Q5. 행정데이터로 서베이를 대체할 수 있는가?  일부는 가능하다. 소득, 의료 이용, 복지 수급 등 행정 기록이 있는 영역에서는 서베이보다 정확할 수 있다. 하지만 행정데이터는 제도에 포착된 것만 기록한다. 제도 밖의 삶, 주관적 경험, 숨겨진 태도는 행정데이터에 없다. 대체가 아니라 보완 관계로 봐야 한다. Q6. SNS 데이터는 서베이를 대신할 수 있는가?  SNS 데이터는 표집 편향이 극심하다. 활발히 발언하는 사람, 특정 플랫폼 이용자, 알고리즘이 노출시킨 콘텐츠로 가득...

  서베이의 정의와 경계   27개 Q1 서베이는 정량조사인가? Q2 IDI(심층인터뷰)는 서베이인가? Q3 FGD(포커스그룹)는 서베이인가? Q4 빅데이터가 있으면 서베이가 필요 없는가? Q5 행정데이터로 서베이를 대체할 수 있는가? Q6 SNS 데이터는 서베이를 대신할 수 있는가? Q7 서베이는 현실을 반영하는가, 아니면 구성하는가? Q8 서베이 결과가 여론을 반영한다고 볼 수 있는가? Q9 여론조사와 시장조사는 다른 학문인가? Q10 학술조사와 상업조사의 기준이 달라야 하는가? Q11 공론조사는 서베이인가? Q12 신세틱 서베이는 서베이인가? Q13 AI가 생성한 응답 데이터는 서베이 데이터인가? Q14 서베이는 측정 도구인가, 사회적 행위인가? Q15 좋은 서베이의 기준은 무엇인가? Q16 서베이 방법론은 사회과학인가, 통계학인가? Q17 서베이 결과는 얼마나 믿을 수 있는가? Q18 서베이 응답은 태도를 측정하는가, 태도를 만드는가? Q19 총조사오차(TSE)란 무엇인가? Q20 오차가 없는 서베이가 가능한가? Q21 서베이의 오차와 편향은 어떻게 다른가? Q22 서베이 품질을 어떻게 정의할 것인가? Q23 서베이와 센서스의 차이는? Q24 서베이에서 대표성이란 정확히 무엇을 의미하는가? Q25 서베이는 진실을 말해주는가? Q26 서베이 비용과 품질은 비례하는가? Q27 조사 설계는 어디서 시작해야 하는가? 모집단과 표집틀  25개 Q28 모집단은 누가 정의하는가? Q29 전국 만 18세 이상 성인이라는 모집단 정의는 정확한가? Q30 표집틀과 모집단이 일치하는 경우가 있는가? Q31 한국에서 가장 좋은 표집틀은 무엇인가? Q32 RDD(무작위전화걸기)의 표집틀은 무엇인가? Q33 온라인 패널의 표집틀 문제는 무엇인가? Q34 주민등록부를 표집틀로 쓸 수 있는가? Q35 미국의 MAF(마스터주소파일)는 왜 한국에 없는가? Q36 커버리지 오차와 표집 오차는 어떻게 다른가? Q37 표집틀 오차는 어떻게 측정하는가? Q38 온라인...