설문지 설계와 맥락: 27개 질문과 대답

Q101. 설문지 설계는 과학인가, 기술인가? 둘 다지만 순서가 있다. 인지심리학, 언어학, 측정 이론 등 과학적 원리가 토대가 되고, 그 위에 현장 경험과 감각이 기술로 쌓인다. 원리만 아는 사람은 교과서적 설문지를 만들고, 감각만 있는 사람은 검증되지 않은 관행을 반복한다. 좋은 설문지는 원리를 이해하고 현장을 아는 사람이 만든다. 과학이 토대고 기술이 실행이다.

Q102. 문항 순서가 응답에 영향을 미치는가? 결정적으로 영향을 미친다. 앞 문항이 뒤 문항의 해석 틀을 만든다. 대통령 국정운영 평가를 먼저 묻고 경제 만족도를 물으면, 순서를 바꿨을 때와 다른 결과가 나온다. 이것은 응답자가 부주의해서가 아니라 인간 인지의 정상적인 작동 방식이다. 문항 순서는 설계의 일부가 아니라 측정의 일부다.

Q103. 일반적인 것에서 구체적인 것 순서가 항상 맞는가? 원칙으로는 그렇지만 예외가 있다. 구체적 사례를 먼저 물으면 응답자가 특정 프레임에 갇혀 이후 일반적 질문에 편향된 응답을 할 수 있다. 반대로 너무 추상적인 질문을 먼저 던지면 응답자가 맥락을 잡지 못하고 무의미한 응답을 한다. 원칙은 기준이지 규칙이 아니다. 조사 목적과 응답자 특성에 따라 판단해야 한다.

Q104. 민감한 문항은 어디에 배치해야 하는가? 중반부 이후가 일반적 원칙이다. 너무 앞에 두면 응답자가 경계심을 갖고 조기 이탈하거나 이후 문항 전체에 방어적으로 응답한다. 너무 뒤에 두면 응답 피로와 겹쳐 무응답이 증가한다. 신뢰가 어느 정도 쌓인 중반부가 적절하다. 단, 민감한 문항 직전에 친밀감을 높이는 전환 문항을 두는 것도 효과적이다.

Q105. 인구통계 문항을 마지막에 두는 이유는? 두 가지 이유가 있다. 첫째, 조사 시작부터 나이, 소득, 학력을 물으면 응답자가 심문받는 느낌을 받아 이탈률이 높아진다. 둘째, 인구통계는 분석의 보조 변수이지 핵심 측정 내용이 아니다. 핵심 문항을 앞에 배치해 응답 품질을 확보하는 것이 우선이다. 단, 스크리닝 목적의 인구통계(예: 연령 기준 대상자 선별)는 앞에 와야 한다.

Q106. 앞 문항이 뒤 문항을 오염시키는 메커니즘은? 크게 두 가지다. 첫째는 점화(priming) 효과다. 앞 문항이 특정 개념이나 감정을 활성화해 뒤 문항의 해석에 영향을 준다. 둘째는 일관성 동기다. 사람들은 자신의 이전 응답과 일관된 방향으로 이후 응답을 맞추려는 경향이 있다. 이 두 메커니즘은 의도하지 않은 맥락 효과를 만들고, 문항 배치만으로 결과를 바꿀 수 있다.

Q107. 맥락 효과와 순서 효과는 어떻게 다른가? 순서 효과는 문항의 물리적 위치(앞/뒤)가 응답에 미치는 영향이다. 맥락 효과는 더 넓은 개념으로, 앞 문항의 내용, 설문지 전체 주제, 조사 상황 등이 응답의 방향과 해석에 영향을 미치는 모든 현상을 포함한다. 순서 효과는 맥락 효과의 하위 유형이다. 실무에서는 둘을 구분하지 않고 쓰는 경우가 많지만, 원인 진단을 위해서는 구분이 필요하다.

Q108. 스크리너 문항의 역할은? 조사 대상자를 걸러내는 것이다. 특정 제품 이용자, 특정 경험 보유자, 특정 연령대 등 조사 목적에 맞는 응답자만 본 조사에 진입하게 한다. 스크리너가 부정확하면 엉뚱한 사람의 응답을 수집하거나, 정작 필요한 응답자를 놓친다. 스크리너 문항은 짧고 명확해야 하며, 정답을 예측할 수 없도록 설계해야 응답자의 의도적 통과를 막을 수 있다.

Q109. 필터 문항과 분기 설계는 어떻게 해야 하는가? 필터 문항은 특정 응답자에게만 해당하는 후속 문항으로 안내하는 역할을 한다. 분기 설계가 복잡해질수록 응답자 혼란과 프로그래밍 오류 가능성이 높아진다. 온라인 조사에서는 자동 분기가 가능하지만, 면접조사에서는 조사원 오류의 원천이 된다. 분기는 필요 최소한으로 유지하고, 건너뛰기 지시가 명확해야 한다.

Q110. 이중부정 문항은 왜 피해야 하는가? 응답자의 인지 부담을 과도하게 높이기 때문이다. "이 정책에 반대하지 않는다"에 '매우 동의'한다는 것은 무슨 의미인가? 이중부정은 응답자가 실제로 무엇에 동의하는지 스스로도 헷갈리게 만든다. 결과적으로 응답이 태도를 반영하는 것이 아니라 문장 해독 능력을 반영하게 된다. 특히 교육 수준이 다양한 응답자 집단에서 문제가 심각해진다.

Q111. 이중질문(double-barreled question)이란 무엇인가? 하나의 문항에 두 가지 내용을 동시에 묻는 것이다. "이 제품의 품질과 가격에 만족하십니까?"가 대표적 예다. 품질에는 만족하지만 가격에는 불만족한 응답자는 어떻게 응답해야 하는가? 응답이 두 요소 중 어느 것을 반영하는지 알 수 없다. 발견이 쉽지 않은 것이 문제인데, '그리고', '또한', '및'이 들어간 문항을 의심해볼 필요가 있다.

Q112. 유도질문은 어떻게 탐지하는가? 특정 응답을 암시하거나 유발하는 단서가 있는지 확인한다. 감정적 언어("위험한 정책에 찬성하십니까?"), 일방적 프레이밍("전문가들이 권고하는 이 방안을 지지하십니까?"), 전제가 깔린 문장("이미 실패한 정책을 계속 유지해야 한다고 생각하십니까?") 등이 신호다. 분할표본실험으로 다른 프레이밍 버전과 결과를 비교하는 것이 가장 확실한 탐지 방법이다.

Q113. 균형잡힌 문항(balanced question)이란 무엇인가? 찬반 또는 대립하는 입장을 동등하게 제시해 응답자가 어느 방향으로도 쏠리지 않도록 설계된 문항이다. "찬성 입장과 반대 입장이 있습니다. 귀하는 어느 쪽에 가깝습니까?" 형태가 대표적이다. 균형 잡힌 문항은 사회적 바람직성 편향을 줄이고, 특히 민감한 정치·사회 이슈에서 중립적 측정을 가능하게 한다. 다만 실제 여론에 편향이 있다면 균형 문항이 오히려 현실을 왜곡할 수 있다.

Q114. 긍정적 프레이밍과 부정적 프레이밍이 결과를 어떻게 바꾸는가? 동일한 내용도 어떻게 표현하느냐에 따라 응답이 달라진다. "생존율 90%"와 "사망률 10%"는 같은 정보지만 전자에 더 긍정적으로 반응한다. 정책 문항에서도 "지원을 늘리는 것"과 "지출을 확대하는 것"은 다른 응답 분포를 만든다. 이 현상은 카너먼과 트버스키의 전망 이론으로 설명된다. 프레이밍 효과는 없애기 어렵고, 인식하고 통제하는 것이 현실적 접근이다.

Q115. 응답 선택지 순서는 응답에 영향을 미치는가? 미친다. 특히 자기기입식 조사(온라인)에서는 목록의 앞쪽 선택지가 선택될 가능성이 높다(초두효과). 면접조사에서는 마지막에 읽힌 선택지가 선택될 가능성이 높다(최신효과). 이것은 응답자가 선택지를 충분히 검토하지 않고 응답하는 경향 때문이다. 중요한 조사에서는 선택지 순서를 무작위로 배치하거나 버전을 분할해 순서 효과를 통제해야 한다.

Q116. 초두효과와 최신효과 중 어느 것이 더 강한가? 조사 방식에 따라 다르다. 자기기입식에서는 목록을 위에서 아래로 훑기 때문에 초두효과가 강하다. 전화면접에서는 마지막에 들은 것이 기억에 남기 때문에 최신효과가 강하다. 중요한 것은 두 효과 모두 실재한다는 점이다. 어느 선택지가 앞에 오느냐가 결과에 영향을 미치는 구조라면, 그 조사 결과는 선택지 순서에 부분적으로 오염되어 있다.

Q117. 온라인 조사에서 응답 선택지 무작위 배치가 항상 옳은가? 아니다. 자연스러운 순서가 있는 선택지(예: 매우 만족 → 매우 불만족 같은 척도)는 무작위 배치하면 혼란을 준다. 또한 논리적 흐름이 있는 선택지(예: 시간 순서, 규모 순서)도 무작위 배치가 오히려 응답 부담을 키운다. 무작위 배치는 선택지 간 순서 효과를 통제하는 도구이지, 모든 상황에 적용할 원칙이 아니다.

Q118. 개방형 문항은 언제 써야 하는가? 가능한 응답 범주를 사전에 알 수 없을 때, 응답자의 언어와 논리로 의견을 수집해야 할 때, 폐쇄형 문항의 보완이 필요할 때다. 단, 개방형 문항은 응답 부담이 크고 코딩 비용이 높으며 분석이 복잡하다. 온라인 조사에서 개방형 문항 응답률은 폐쇄형보다 현저히 낮다. 많이 쓰는 것이 능사가 아니라, 꼭 필요한 곳에 전략적으로 배치해야 한다.

Q119. 폐쇄형 문항의 기타 항목은 왜 중요한가? 선택지 설계의 완전성을 확인하는 창구이기 때문이다. 기타 응답이 많다는 것은 제시된 선택지가 실제 응답 분포를 커버하지 못하고 있다는 신호다. 기타 응답의 내용을 분석하면 다음 조사에서 선택지를 개선할 수 있다. 기타 항목 없이 폐쇄형만 두는 것은 설계자의 가정이 완전하다는 오만이다. 기타는 선택지이자 품질 지표다.

Q120. 복수응답 문항의 함정은? 응답자가 '해당하는 것을 모두 선택'하는 지시를 얼마나 충실히 따르느냐에 달려 있다. 일부는 가장 중요한 하나만 고르고, 일부는 조금이라도 관련 있으면 모두 고른다. 결과적으로 응답 수가 응답자 간에 크게 달라진다. 또한 선택지 수가 많으면 앞에 있는 항목이 과다 선택된다. 복수응답 결과의 퍼센트 합계가 100을 넘는다는 점도 해석 시 자주 혼동을 일으킨다.

Q121. 행동 의도와 실제 행동 간 괴리는 왜 생기는가? 서베이는 의도를 측정하지만 행동은 상황에 영향을 받기 때문이다. 투표하겠다고 했지만 당일 비가 오면 집에 있는다. 제품을 구매하겠다고 했지만 실제 가격을 보면 망설인다. 사회적 바람직성도 의도를 부풀린다. 환경 친화적 행동 의도는 실제 행동보다 항상 높게 측정된다. 의도와 행동의 간극을 인식하고 해석에 반영해야 한다.

Q122. 회상 편향(recall bias)은 어떻게 최소화하는가? 회상 기간을 최대한 짧게 설정하는 것이 기본이다. "지난 1년간"보다 "지난 한 달간"이 더 정확하다. 구체적 기준점(anchor)을 제공하는 것도 도움이 된다. "추석 이후로" 같은 기억 도우미 사건을 활용하는 방식이다. 일기식 조사나 경험표집법(ESM)은 회상 없이 실시간 측정하므로 회상 편향을 원천 차단한다. 회상 기간이 길어질수록 과소 보고 경향이 강해진다.

Q123. 소셜 데저빌리티 바이어스는 어떻게 탐지하는가? 사회적으로 바람직한 응답이 과다하게 나타나는지 확인한다. 실제 행정 통계나 행동 데이터와 비교했을 때 서베이 응답이 지나치게 긍정적이라면 편향이 의심된다. 투표율 과다 보고, 음주량 과소 보고, 독서량 과다 보고가 전형적 예다. 익명성이 보장된 자기기입식과 면접조사 결과를 비교하는 방법도 유효하다. 민감한 행동일수록 이 편향은 커진다.

Q124. 인지 사전조사(cognitive pretesting)란 무엇인가? 소수의 응답자(보통 5~15명)와 심층 인터뷰를 통해 문항을 어떻게 해석하고 어떤 과정으로 응답하는지 파악하는 방법이다. 소리 내어 생각하기(think-aloud), 탐침 질문(probing), 응답 후 설명 요청 등의 기법을 쓴다. 설문지 초안에서 예상치 못한 문항 해석, 혼란스러운 표현, 어려운 용어를 발견하는 데 효과적이다. 대규모 파일럿보다 비용이 적고 통찰이 깊다.

Q125. 파일럿 테스트는 언제 어떻게 해야 하는가? 본조사 전 소규모(n=30~100)로 실시한다. 단순히 설문지가 작동하는지 확인하는 수준을 넘어, 응답 시간, 문항별 무응답률, 응답 분포의 쏠림, 코딩 가능성까지 확인해야 한다. 특히 척도 문항의 경우 분산이 너무 작으면(모두 같은 응답) 변별력이 없다는 신호다. 파일럿을 건너뛰는 것은 본조사를 파일럿으로 쓰는 것이다.

Q126. 문항 수는 얼마나 되어야 적당한가? 목적에 따라 다르지만, 응답자가 집중력을 유지할 수 있는 범위가 기준이다. 온라인 자기기입식 기준으로 15~20분이 넘지 않도록 설계하는 것이 일반적 원칙이다. 문항 수보다 중요한 것은 문항의 밀도다. 쉬운 단답형 10개보다 복잡한 매트릭스 3개가 더 부담스럽다. 필요한 정보를 얻는 최소한의 문항으로 구성하는 것이 원칙이다. 없애도 되는 문항을 찾는 연습이 필요하다.

Q127. 설문지 도입부(인트로)가 응답률에 미치는 영향은? 첫인상이 결정적이다. 도입부는 응답자가 조사에 참여할지 말지를 결정하는 순간이다. 조사 목적, 소요 시간, 익명성 보장, 의뢰 기관에 대한 정보가 명확하게 제시될수록 응답률이 높다. 길고 딱딱한 동의서 형식은 이탈을 높인다. 반대로 너무 짧고 정보가 없으면 신뢰가 낮아진다. 도입부는 응답자와의 첫 번째 신뢰 계약이다.