무응답 오차: 23개 질문과 대답

Q78. 응답률과 데이터 품질은 비례하는가? 비례하지 않는다. 응답률이 높아도 응답자와 무응답자의 특성이 비슷하다면 편향이 작다. 반대로 응답률이 낮아도 무응답이 무작위적이라면 데이터 품질은 유지된다. 핵심은 응답률 자체가 아니라 무응답이 어떤 패턴을 갖는가다. 응답률 70%인 편향된 조사보다 응답률 20%인 무작위 무응답 조사가 나을 수 있다.

Q79. 응답률 10%와 50%의 데이터 중 어느 것이 더 믿을 만한가? 단정할 수 없다. 응답률 10%여도 무응답자와 응답자의 특성이 유사하다면 편향이 없다. 응답률 50%여도 특정 집단이 체계적으로 응답을 거부했다면 편향이 크다. 중요한 것은 응답률이 아니라 무응답 메커니즘이다. 다만 응답률이 낮을수록 무응답 메커니즘이 랜덤일 가능성은 줄어든다. 낮은 응답률은 경고 신호다.

Q80. 무응답 오차와 무응답률은 어떻게 다른가? 무응답률은 조사에 참여하지 않은 비율이다. 무응답 오차는 그로 인해 추정값이 실제와 달라지는 정도다. 무응답률이 높아도 오차가 작을 수 있고, 무응답률이 낮아도 오차가 클 수 있다. 무응답 오차는 무응답률과 응답자·무응답자 간 특성 차이의 곱으로 결정된다. 둘을 혼동하면 잘못된 진단이 나온다.

Q81. 단위 무응답과 항목 무응답은 어떻게 다른가? 단위 무응답은 조사 자체에 참여하지 않는 것이다. 전화를 끊거나, 설문 링크를 열지 않거나, 동의를 거부한 경우다. 항목 무응답은 조사에는 참여했지만 특정 문항에 답하지 않은 것이다. 소득, 나이, 정치 성향처럼 민감한 문항에서 자주 발생한다. 두 유형은 발생 원인과 처리 방법이 다르다.

Q82. 무응답이 랜덤하면 문제가 없는가? 완전히 랜덤한 무응답(MCAR)이라면 편향은 없다. 하지만 현실에서 완전 랜덤 무응답은 드물다. 더 중요한 것은, 무응답이 랜덤인지 아닌지를 확인하기가 매우 어렵다는 점이다. 무응답자의 데이터가 없기 때문이다. MCAR은 가정이지 확인된 사실이 아닌 경우가 많다.

Q83. MAR(무작위 결측)과 MNAR(비무작위 결측)은 어떻게 다른가? MAR은 결측이 다른 관측된 변수들로 설명될 수 있는 경우다. 예를 들어 고학력자가 소득 문항을 덜 건너뛰는 패턴은 학력이라는 변수로 설명된다. MNAR은 결측 자체가 그 변수의 값에 달린 경우다. 소득이 높은 사람이 소득 문항을 회피한다면 이는 MNAR이다. MNAR은 어떤 통계적 보정으로도 완전히 해결할 수 없다.

Q84. 결측값 대체(imputation)는 언제 해야 하는가? 항목 무응답이 무작위적이거나 관측된 변수로 설명 가능할 때(MAR) 유효하다. 전체 응답자의 5% 미만이 결측이면 단순 처리로도 무방하지만, 그 이상이면 체계적 대체를 고려해야 한다. 단, 대체는 있는 데이터를 그럴듯하게 채우는 것이지 없는 정보를 만드는 것이 아니다. 대체 방법과 그 전제를 명확히 보고해야 한다.

Q85. 핫덱 대체법이란 무엇인가? 결측값이 있는 응답자와 인구통계적으로 유사한 다른 응답자의 실제 응답값으로 채우는 방법이다. 같은 성별·연령·지역의 응답자 중 무작위로 '기증자(donor)'를 선택한다. 실제 관측된 값을 쓰기 때문에 응답 범위를 벗어나지 않는다는 장점이 있다. 다중 대체(multiple imputation)에 비해 단순하지만 실무에서 널리 쓰인다.

Q86. 무응답 가중치 조정이란 무엇인가? 응답자에게 무응답자를 대표하는 추가 가중치를 부여하는 방법이다. 응답자와 무응답자의 인구통계 특성 차이를 이용해, 무응답이 많은 집단의 응답자에게 더 높은 가중치를 준다. 기본적인 인구 비례 가중치에 더해 무응답 편향을 보정하는 2단계 가중치 구조다. 그러나 관측되지 않는 특성의 차이는 보정할 수 없다.

Q87. 콜백(callback)은 무응답 오차를 어떻게 줄이는가? 처음 연락에 응답하지 않은 대상자에게 다시 접촉하는 것이다. 첫 번째 접촉에서 응답하는 사람은 집에 있는 시간이 많거나, 전화를 잘 받는 특성이 있다. 콜백을 통해 이런 편향을 줄일 수 있다. 연구에 따르면 응답자의 특성은 1차 응답자와 콜백 응답자 사이에 유의미한 차이가 있다. 최소 3회 이상의 시도가 권고된다.

Q88. 인센티브가 높으면 응답 품질이 좋아지는가? 응답률은 높아지지만 품질이 반드시 좋아지지는 않는다. 인센티브가 높으면 인센티브를 목적으로 하는 동기 없는 응답자가 유입된다. 이들은 질문을 꼼꼼히 읽지 않고, 빨리 끝내려 한다. 응답률과 응답 품질은 다른 문제다. 적정 수준의 인센티브는 필요하지만, 과도한 인센티브는 표본 구성 자체를 왜곡할 수 있다.

Q89. 패널 조사에서 탈락(attrition)은 어떻게 다뤄야 하는가? 탈락이 무작위적인지 먼저 확인해야 한다. 특정 집단(고연령, 저학력, 정치적 무관심층)이 체계적으로 탈락하면 종단 분석 결과가 편향된다. 탈락자의 기저 특성을 초기 웨이브 데이터로 확인하고, 탈락 패턴을 보고해야 한다. 가중치 조정으로 어느 정도 보정할 수 있지만, 탈락 자체를 줄이는 것이 근본적 해결책이다.

Q90. 조기 종료(break-off)는 무응답인가? 부분적 무응답이다. 조사를 시작했지만 끝까지 완료하지 않은 경우다. 단위 무응답(조사 자체를 안 한 것)과 항목 무응답(특정 문항만 건너뛴 것)의 중간 형태다. 조기 종료 지점이 어디인지가 중요하다. 초반에 종료하면 단위 무응답에 가깝고, 후반 특정 문항에서 종료하면 해당 문항의 항목 무응답으로 볼 수 있다.

Q91. 직선 응답(straight-lining)은 어떻게 탐지하는가? 행렬형 문항에서 모든 항목에 동일한 응답 값을 준 경우를 찾는다. 예를 들어 10개 항목 배터리 전체에 '3'만 찍은 응답자다. 분산이 0이거나 매우 낮은 응답자를 스크리닝하거나, 동일 응답 연속 횟수가 임계값을 넘는 경우를 탐지한다. 그러나 실제로 중립적 태도를 가진 응답자와 구별하기 어렵다는 것이 함정이다.

Q92. 스피더(speeder) 응답자는 어떻게 처리하는가? 평균 응답 시간의 일정 비율(보통 30~50%) 미만으로 완료한 응답자를 식별한다. 제거 기준은 조사마다 다르지만, 단순히 빠른 것만으로 제거하면 인지 능력이 높거나 해당 주제에 익숙한 응답자를 잘못 걸러낼 수 있다. 응답 시간과 함께 응답 패턴(직선 응답, 무작위 응답)을 같이 확인하는 것이 더 정확하다.

Q93. 무성의 응답을 제거하면 데이터가 좋아지는가? 제거 기준이 명확하고 일관적이라면 그렇다. 그러나 '무성의'의 기준이 주관적이거나 자의적이면 오히려 특정 집단을 체계적으로 제거하는 결과가 생긴다. 또한 제거 자체가 새로운 선택 편향을 만든다. 무성의 응답 제거 기준과 제거 규모는 반드시 보고해야 한다. 숨겨진 제거는 데이터 조작과 경계가 모호하다.

Q94. 응답자 피로는 설문지 어느 지점에서 시작되는가? 일반적으로 설문지 후반부로 갈수록 피로가 쌓이지만, 시작 시점은 설문 길이와 난이도에 따라 다르다. 연구에 따르면 온라인 조사에서 15~20분이 넘어가면 응답 품질이 저하되기 시작한다. 피로는 중립 응답 증가, 응답 시간 감소, 개방형 문항 답변 길이 감소 등으로 나타난다. 중요한 문항은 앞에 배치하는 것이 원칙이다.

Q95. 설문 길이와 응답 품질의 관계는? 역의 관계가 있다. 설문이 길수록 응답 품질은 저하되는 경향이 있다. 다만 모든 응답자에게 동일하게 적용되지 않는다. 주제에 관심 있는 응답자는 긴 설문에도 품질을 유지하고, 인센티브 목적의 응답자는 초반부터 품질이 낮다. 설문 길이는 탈락률과 항목 무응답률에도 직접 영향을 미친다. 필요한 문항만 남기는 것이 최선이다.

Q96. 모름·무응답을 분석에서 어떻게 처리해야 하는가? 제거와 포함 모두 위험이 있다. 분모에서 빼면 비율이 달라지고, 포함하면 해석이 복잡해진다. 중요한 것은 처리 방식을 명시하고 일관되게 적용하는 것이다. 특히 '모름'이 많은 문항은 그 자체가 의미 있는 정보다. 모른다는 응답이 많다는 것은 이슈 인지도가 낮다는 신호일 수 있다. 제거하면 이 정보를 잃는다.

Q97. 무응답자의 특성을 어떻게 파악하는가? 직접 파악하기 어렵다는 것이 무응답 문제의 본질이다. 간접적으로는 행정 데이터나 인구총조사와 비교해 응답자 집단의 과소·과대 대표 여부를 확인한다. 일부 조사에서는 무응답자에게 짧은 추적 조사(follow-up)를 실시해 기본 특성을 수집한다. 콜백 응답자 분석도 유용하다. 나중에 응답한 사람이 무응답자에 더 가깝다는 가정 하에 비교한다.

Q98. 응답하지 않은 사람들이 응답한 사람들과 다르다는 것을 어떻게 아는가? 완전히 알 수는 없다. 하지만 간접 증거는 있다. 인구통계 분포 비교, 동일 표집틀의 다른 조사와 비교, 행정 데이터와 비교 등을 통해 응답자 집단의 왜곡 여부를 추론한다. 또한 응답 의향 자체가 특정 태도(예: 정치 관심, 사회 신뢰)와 연관되어 있다는 연구 결과가 축적되어 있다. 무응답은 랜덤이 아닌 경우가 더 많다.

Q99. 온라인 조사에서 중도 이탈은 어떻게 다루는가? 먼저 중도 이탈 응답자를 분석에 포함할지 결정해야 한다. 초반 이탈은 사실상 무응답으로 처리한다. 일정 비율 이상 완료한 응답자는 부분 포함하되, 미응답 문항을 결측으로 처리하거나 대체한다. 이탈 지점 분석은 설문지 문제를 진단하는 데 유용하다. 특정 문항에서 이탈이 집중된다면 그 문항이 응답 부담이나 민감도 문제를 갖고 있다는 신호다.

Q100. 무응답 오차는 어떻게 사전에 최소화할 수 있는가? 설계 단계에서 접근이 가능하다. 관심을 끄는 도입부, 적절한 인센티브, 짧고 명확한 설문지, 응답하기 쉬운 모드 선택이 응답률을 높인다. 더 중요한 것은 무응답이 체계적 편향을 만들지 않도록 표집틀과 접촉 방법을 설계하는 것이다. 응답률 목표보다 무응답 패턴 관리가 더 본질적인 목표여야 한다.