메소드서베이

Q231. 서베이 윤리의 핵심 원칙은 무엇인가? 크게 세 가지다. 첫째, 응답자 보호. 익명성 보장, 자발적 참여, 개인정보 보호가 포함된다. 둘째, 방법론적 정직. 설계, 분석, 보고 전 과정에서 의도적 왜곡이 없어야 한다. 셋째, 공중에 대한 책임. 서베이 결과는 여론을 형성하고 정책에 영향을 미친다. 응답자와의 계약, 의뢰인과의 계약, 공중과의 계약이 동시에 존재하며, 이 세 계약이 충돌할 때 어떤 원칙을 우선하는가가 서베이어의 윤리적 정체성을 결정한다. Q232. 응답자 익명성은 어떻게 보장해야 하는가? 개인 식별 정보와 응답 데이터를 분리 저장하는 것이 기본이다. 조사 번호로만 연결하고, 분석 단계에서는 개인 식별 정보에 접근할 수 없도록 해야 한다. 소규모 집단 조사에서는 인구통계 조합만으로도 개인이 특정될 수 있으므로 교차 집계 결과 공개 시 세밀한 분류를 피해야 한다. 익명성 보장은 법적 의무이기 전에 응답자와의 신뢰 계약이다. 이것이 깨지면 응답자가 솔직하게 응답할 이유가 사라진다. Q233. 조사 결과를 공개하지 않을 권리가 의뢰인에게 있는가? 계약상 권리는 있을 수 있지만 윤리적으로는 논쟁의 여지가 있다. 의뢰인이 비용을 냈으므로 결과 공개 여부를 결정할 권리가 있다는 주장이 있다. 반대로 공공 이슈에 관한 조사 결과를 선택적으로 은폐하는 것은 정보 왜곡이라는 주장도 있다. 특히 선거 관련 조사는 공직선거법상 공표 의무가 있다. 학술 조사에서는 데이터 공개와 재현 가능성이 점점 강화되는 규범이 되고 있다. 결과를 숨길 권리와 공개할 의무 사이의 긴장은 쉽게 해소되지 않는다. Q234. 부분 공개는 윤리적으로 허용되는가? 결과에 따라 다르다. 자신에게 유리한 결과만 발표하고 불리한 결과는 숨기는 것은 여론 조작에 가깝다. 선거 여론조사에서 특정 후보 지지율만 발표하고 다른 후보 수치는 공개하지 않는다면, 공개된 정보가 사실이더라도 그 행위는 기만적이다. 부분 공개가 허용되려면 공개하지 않은 부분이 있다는 사실 자체를 밝혀야 한다....

Q207. 기술통계와 추론통계를 혼동하면 어떤 문제가 생기는가? 기술통계는 수집된 데이터 자체를 요약하고, 추론통계는 표본에서 모집단을 추정한다. 혼동하면 표본의 특성을 모집단의 사실인 양 단정하거나, 반대로 추론이 필요한 상황에서 기술통계만으로 결론을 내린다. 가장 흔한 오류는 표본 내 차이를 통계적 검정 없이 모집단 차이로 서술하는 것이다. "20대의 47%가 찬성했다"는 기술이고, "20대는 찬성하는 경향이 있다"는 추론이다. 이 두 문장이 다르다는 것을 모르면 분석 전체가 흔들린다. Q208. 교차분석에서 무엇을 봐야 하는가? 단순히 셀 비율만 볼 것이 아니라 세 가지를 함께 봐야 한다. 첫째, 집단 간 차이의 방향과 크기. 둘째, 그 차이가 통계적으로 유의한지. 셋째, 셀 빈도가 검정에 충분한지다. 카이제곱 유의확률만 보고 끝내는 분석은 반쪽짜리다. 차이가 어느 셀에서 왔는지, 표준화 잔차가 큰 셀이 어디인지 확인해야 한다. 또한 행 퍼센트로 볼지 열 퍼센트로 볼지를 분석 목적에 맞게 선택해야 한다. 방향을 바꾸면 다른 이야기가 나온다. Q209. 통계적으로 유의하지 않은 차이를 보고해야 하는가? 보고해야 한다. 유의하지 않다는 것은 차이가 없다는 것이 아니라, 주어진 표본 크기에서 차이가 있다고 확신하기 어렵다는 것이다. 유의하지 않은 결과를 숨기면 출판 편향과 같은 구조적 왜곡이 생긴다. 특히 탐색적 조사에서는 유의하지 않은 결과도 향후 설계에 중요한 정보다. 단, 유의하지 않은 차이를 서술할 때는 "차이가 없다"가 아니라 "차이가 확인되지 않았다"고 표현해야 정확하다. Q210. 소수점 몇 자리까지 보고해야 하는가? 측정의 정밀도를 넘어서는 소수점은 의미가 없다. 응답자 1,000명 기준 퍼센트는 0.1%p 단위가 의미 있는 최소 단위다. 소수점 둘째 자리(0.01%p)는 표집오차(±3.1%p)에 비해 무의미하게 정밀하다. 그럼에도 보고서에 42.37% 같은 숫자...

Q183. 가중치는 왜 필요한가? 표본이 모집단을 완벽하게 반영하지 못하기 때문이다. 조사 결과를 모집단 전체에 대한 추정값으로 쓰려면, 과대 대표된 집단은 낮추고 과소 대표된 집단은 높여야 한다. 가중치는 표본과 모집단 사이의 불일치를 교정하는 수치적 장치다. 가중치 없이 발표하는 것은 왜곡된 표본 구조를 그대로 결과로 내놓는 것이다. Q184. 가중치를 안 하면 어떤 일이 생기는가? 표본 구성 편향이 그대로 결과에 반영된다. 온라인 패널에서 20~30대가 과다 응답했다면 미가중 결과는 젊은 층의 의견을 과대 대표한다. 선거 여론조사에서 가중치를 안 하면 특정 연령대나 지역의 지지율이 실제와 크게 달라진다. 가중치는 선택이 아니라 추정의 기본 절차다. 특별한 이유 없이 가중치를 생략하는 것은 방법론적 태만이다. Q185. 모집단 구조를 모르면 가중치를 할 수 없는가? 완전히 모른다면 불가능하다. 가중치는 표본 구조를 모집단 구조에 맞추는 작업이므로, 기준이 되는 모집단 정보가 있어야 한다. 실무에서는 인구총조사, 주민등록 통계, 통계청 인구 추계를 기준으로 쓴다. 모집단 정보가 없는 변수는 가중변수로 쓸 수 없다. 가중치의 품질은 기준 모집단 정보의 정확성에 직접적으로 의존한다. Q186. 인구통계 가중치만으로 충분한가? 대부분의 경우 충분하지 않다. 성별·연령·지역을 맞춰도 응답자와 비응답자 사이의 태도·행동 차이가 인구통계로 설명되지 않는다면 편향은 남는다. 특히 정치 성향이나 이념 같은 변수는 인구통계와 독립적으로 응답 참여 여부에 영향을 미친다. 이상적으로는 측정 목적과 관련된 변수를 가중변수에 포함해야 하지만, 모집단 기준값을 구하기 어렵다는 현실적 제약이 있다. Q187. 가중변수는 어떻게 선택해야 하는가? 두 가지 조건을 동시에 충족해야 한다. 첫째, 표본과 모집단 간 분포 차이가 있어야 한다. 분포가 이미 일치하면 가중치가 필요 없다. 둘째, 그 변수가 주요 결과 변수와 관련이 있어야 한다. 관련 없는 변수로 가중치를 걸면 추정...

Q158. 조사 모드는 왜 중요한가? 모드는 단순한 전달 방식이 아니라 측정 환경 자체다. 같은 질문도 전화로 물으면 면접조사와 다른 응답이 나오고, 온라인으로 물으면 또 달라진다. 조사원의 존재, 익명성 수준, 응답 속도, 시각적 정보 제공 여부가 모두 모드에 따라 달라진다. 모드는 커버리지 오차, 측정 오차, 무응답 오차에 동시에 영향을 미친다. TSE 관점에서 모드 선택은 설계의 핵심 결정이다. Q159. 전화조사와 온라인조사 결과는 왜 다를 수 있는가? 여러 메커니즘이 동시에 작동한다. 커버리지가 다르고(전화는 온라인 비이용자 포함, 온라인은 패널 가입자 한정), 사회적 바람직성 편향의 강도가 다르며(조사원 있는 전화조사에서 더 강함), 응답 속도도 다르다. 정치 성향, 이념, 민감한 사회 이슈에서 모드별 차이가 특히 크다. 두 조사 결과가 다를 때 어느 것이 더 정확한지는 단정할 수 없다. Q160. 면접조사는 왜 비싼가? 조사원 훈련, 이동, 면접 시간, 현장 관리 비용이 모두 포함되기 때문이다. 응답자 한 명을 만나기 위해 조사원이 이동하고, 거부당하고, 다시 방문하는 과정이 필요하다. 온라인 조사와 비교하면 응답자 1인당 비용이 수십 배 차이가 난다. 그러나 면접조사는 복잡한 문항 처리, 시각 보조 자료 활용, 응답 품질 통제가 가능하다는 장점이 있다. 비용은 품질에 대한 투자다. Q161. 전화조사에서 유선과 무선의 비중은 어떻게 정해야 하는가? 모집단 구조를 반영해야 한다. 유선전화 가구 비율이 계속 줄고 있으므로, 무선 비중을 높이는 것이 커버리지 확보에 유리하다. 현재 한국 여론조사에서 무선 70~80%가 일반적이다. 그러나 유선만 사용하는 고령층이 있어 유선을 완전히 배제하면 이들이 누락된다. 유무선 비중 결정은 단순한 비용 계산이 아니라 커버리지 전략이다. Q162. ARS 조사는 여론조사로 인정받을 수 있는가? 방법론적으로 한계가 명확하다. ARS는 자동 응답 시스템으로 조사원 없이 진행되며, 응답률이 매우 낮고 자발...

Q128. 척도와 문항은 어떻게 다른가? 문항은 하나의 질문이고, 척도는 하나의 개념을 측정하기 위해 설계된 문항들의 체계다. 단일 문항으로 측정하는 경우도 있지만, 복잡한 개념(이념 성향, 삶의 만족도, 번아웃)은 여러 문항을 묶어 척도로 측정해야 신뢰도와 타당도가 확보된다. 문항은 척도의 구성 요소이고, 척도는 측정의 도구다. 이 구분을 모르면 단일 문항으로 측정한 결과를 척도인 양 보고하는 오류를 범한다. Q129. 리커트 척도의 정확한 정의는? 1932년 렌시스 리커트가 개발한 방법으로, 동일한 개념을 측정하는 여러 문항에 대해 동의 정도를 응답하고 그 합산 점수로 태도를 측정하는 방식이다. 핵심은 개별 문항이 아니라 문항들의 합산이 측정값이 된다는 것이다. 그러므로 5점 척도 단일 문항 하나를 리커트 척도라고 부르는 것은 엄밀히 틀렸다. 그것은 리커트형 응답 형식일 뿐이다. Q130. 리커트 척도와 리커트형 척도는 어떻게 다른가? 리커트 척도는 복수 문항의 합산으로 하나의 개념을 측정하는 척도 구성 방식이다. 리커트형 척도는 '매우 동의'에서 '전혀 동의 안 함'까지 동의 정도를 묻는 응답 형식 자체를 말한다. 전자는 측정 설계의 개념이고, 후자는 응답 포맷이다. 실무에서는 두 용어를 혼용하지만, 연구 맥락에서는 구분이 필요하다. 5점 리커트형 문항 하나가 리커트 척도가 되려면 유사한 문항들과 묶여야 한다. Q131. 5점 척도와 7점 척도 중 어느 것이 더 좋은가? 정답은 없다. 7점이 더 세밀한 변별을 가능하게 하지만, 응답자가 7개 범주를 실제로 구분할 수 있는지가 전제다. 연구에 따르면 인간이 안정적으로 구분할 수 있는 범주는 5~7개 수준이다. 조사 목적이 집단 간 차이를 세밀하게 보는 것이라면 7점, 빠른 응답이 중요하고 응답자 부담을 줄여야 한다면 5점이 낫다. 맥락 없는 선택은 의미 없다. Q132. 척도점 수가 많을수록 좋은가? 아니다. 10점이나 100점 척도는 심리적으로 세밀해 보이지만,...

Q101. 설문지 설계는 과학인가, 기술인가? 둘 다지만 순서가 있다. 인지심리학, 언어학, 측정 이론 등 과학적 원리가 토대가 되고, 그 위에 현장 경험과 감각이 기술로 쌓인다. 원리만 아는 사람은 교과서적 설문지를 만들고, 감각만 있는 사람은 검증되지 않은 관행을 반복한다. 좋은 설문지는 원리를 이해하고 현장을 아는 사람이 만든다. 과학이 토대고 기술이 실행이다. Q102. 문항 순서가 응답에 영향을 미치는가? 결정적으로 영향을 미친다. 앞 문항이 뒤 문항의 해석 틀을 만든다. 대통령 국정운영 평가를 먼저 묻고 경제 만족도를 물으면, 순서를 바꿨을 때와 다른 결과가 나온다. 이것은 응답자가 부주의해서가 아니라 인간 인지의 정상적인 작동 방식이다. 문항 순서는 설계의 일부가 아니라 측정의 일부다. Q103. 일반적인 것에서 구체적인 것 순서가 항상 맞는가? 원칙으로는 그렇지만 예외가 있다. 구체적 사례를 먼저 물으면 응답자가 특정 프레임에 갇혀 이후 일반적 질문에 편향된 응답을 할 수 있다. 반대로 너무 추상적인 질문을 먼저 던지면 응답자가 맥락을 잡지 못하고 무의미한 응답을 한다. 원칙은 기준이지 규칙이 아니다. 조사 목적과 응답자 특성에 따라 판단해야 한다. Q104. 민감한 문항은 어디에 배치해야 하는가? 중반부 이후가 일반적 원칙이다. 너무 앞에 두면 응답자가 경계심을 갖고 조기 이탈하거나 이후 문항 전체에 방어적으로 응답한다. 너무 뒤에 두면 응답 피로와 겹쳐 무응답이 증가한다. 신뢰가 어느 정도 쌓인 중반부가 적절하다. 단, 민감한 문항 직전에 친밀감을 높이는 전환 문항을 두는 것도 효과적이다. Q105. 인구통계 문항을 마지막에 두는 이유는? 두 가지 이유가 있다. 첫째, 조사 시작부터 나이, 소득, 학력을 물으면 응답자가 심문받는 느낌을 받아 이탈률이 높아진다. 둘째, 인구통계는 분석의 보조 변수이지 핵심 측정 내용이 아니다. 핵심 문항을 앞에 배치해 응답 품질을 확보하는 것이 우선이다. 단, 스크리닝 목적의 인구통계(예: 연령...

Q78. 응답률과 데이터 품질은 비례하는가? 비례하지 않는다. 응답률이 높아도 응답자와 무응답자의 특성이 비슷하다면 편향이 작다. 반대로 응답률이 낮아도 무응답이 무작위적이라면 데이터 품질은 유지된다. 핵심은 응답률 자체가 아니라 무응답이 어떤 패턴을 갖는가다. 응답률 70%인 편향된 조사보다 응답률 20%인 무작위 무응답 조사가 나을 수 있다. Q79. 응답률 10%와 50%의 데이터 중 어느 것이 더 믿을 만한가? 단정할 수 없다. 응답률 10%여도 무응답자와 응답자의 특성이 유사하다면 편향이 없다. 응답률 50%여도 특정 집단이 체계적으로 응답을 거부했다면 편향이 크다. 중요한 것은 응답률이 아니라 무응답 메커니즘이다. 다만 응답률이 낮을수록 무응답 메커니즘이 랜덤일 가능성은 줄어든다. 낮은 응답률은 경고 신호다. Q80. 무응답 오차와 무응답률은 어떻게 다른가? 무응답률은 조사에 참여하지 않은 비율이다. 무응답 오차는 그로 인해 추정값이 실제와 달라지는 정도다. 무응답률이 높아도 오차가 작을 수 있고, 무응답률이 낮아도 오차가 클 수 있다. 무응답 오차는 무응답률과 응답자·무응답자 간 특성 차이의 곱으로 결정된다. 둘을 혼동하면 잘못된 진단이 나온다. Q81. 단위 무응답과 항목 무응답은 어떻게 다른가? 단위 무응답은 조사 자체에 참여하지 않는 것이다. 전화를 끊거나, 설문 링크를 열지 않거나, 동의를 거부한 경우다. 항목 무응답은 조사에는 참여했지만 특정 문항에 답하지 않은 것이다. 소득, 나이, 정치 성향처럼 민감한 문항에서 자주 발생한다. 두 유형은 발생 원인과 처리 방법이 다르다. Q82. 무응답이 랜덤하면 문제가 없는가? 완전히 랜덤한 무응답(MCAR)이라면 편향은 없다. 하지만 현실에서 완전 랜덤 무응답은 드물다. 더 중요한 것은, 무응답이 랜덤인지 아닌지를 확인하기가 매우 어렵다는 점이다. 무응답자의 데이터가 없기 때문이다. MCAR은 가정이지 확인된 사실이 아닌 경우가 많다. Q83. MAR(무작위 결측)과 MNAR(비무...