같은 설문, 세 플랫폼: MTurk 응답의 90%가 품질 검사를 통과하지 못했다
유료 응답자 패널로 웹조사를 돌릴 때 어느 플랫폼을 쓰느냐가 데이터 품질을 얼마나 좌우하는지 정면으로 비교한 연구가 나왔다. Kennesaw 주립대 연구진이 Survey Practice에 발표한 이 논문은 동일한 건강 설문을 Qualtrics(705명), SurveyMonkey(576명), Amazon Mechanical Turk(1,034명) 세 곳에서 수집하고, 20종의 품질 검사를 돌려 결과를 비교했다.
결과는 플랫폼 간 격차가 예상보다 훨씬 크다는 것이다. 완료 응답 2,315건 중 모든 검사를 통과한 응답은 947건, 40.9%에 그쳤다. 플랫폼별로는 SurveyMonkey 70.5%, Qualtrics 61.8%, MTurk 10.2%였다. MTurk 응답 열에 아홉이 최소 하나 이상의 품질 검사에 걸렸다는 뜻이다. 다만 SurveyMonkey는 80문항 제한 때문에 개방형 문항 검사를 넣지 못했고, 저자들도 이 수치가 부풀려졌을 가능성을 인정한다.
20종의 검사는 다섯 범주로 나뉜다. 지시형 주의 확인 문항("Moderate Difficulty를 선택하세요"), 인구통계 교차 확인(주와 우편번호 일치 여부), 논리 확인(하프마라톤이 울퉁불퉁한 길 걷기보다 쉽다고 답하는 경우), 정직성·신뢰성 확인(남성이 임신 중이라고 답하거나 BMI가 타당 범위를 벗어나는 경우, 중위 소요시간의 절반 미만 초고속 응답), 그리고 개방형 응답 검토다. 어떤 검사가 잘 작동하는지도 플랫폼마다 달랐다. MTurk에서는 정직성·신뢰성 검사가 응답의 40.4%를 걸러낸 반면, Qualtrics와 SurveyMonkey에서는 주의 확인 문항이 가장 많이 걸러냈다. 불량 응답자는 평균 1.5개 검사에만 걸렸고 여섯 개를 넘겨 걸린 사람은 없었다. 하나의 검사로는 잡히지 않는 응답자가 대부분이라는 뜻으로, 품질 관리를 단일 장치에 기대면 안 되는 이유다.
개방형 문항에서 나온 발견이 특히 눈에 띈다. 수동 검토에서 걸러진 응답의 세 유형은 AI 생성 의심 응답, 설문 문안이나 웹 문서를 그대로 붙여넣은 응답, 무의미 응답이었다. AI 의심 응답 중에는 "저는 물리적 신체가 없으므로 발이나 발목이 없고, 따라서 관련된 어려움을 경험하지 않습니다"라는, 발목 기능을 묻는 문항에 챗봇 거절 문구를 그대로 붙여넣은 사례가 있었다. 응답자가 질문을 LLM에 넣고 나온 답을 검수도 없이 제출한 것이다. 지난번에 소개한 POQ 논문(DiGiuseppe와 Flynn)이 숨은 지시문으로 상위 응답자의 4분의 1이 AI를 쓴다는 것을 밝혀낸 것과 나란히 놓고 보면, 유료 패널의 개방형 응답에 AI가 스며드는 현상은 이제 개별 플랫폼의 일탈이 아니라 업계 전반의 상수로 봐야 한다.
실무자에게 더 아픈 대목은 품질과 표본 구성의 관계다. 불량 응답은 인구통계적으로 무작위가 아니었다. Qualtrics에서는 남성과 고소득층에, MTurk에서는 중간 소득 구간에 몰려 있었다. 그래서 불량 응답을 제거하면 표본 구성이 센서스 기준에 가까워지는 대신, 사전에 설계한 할당 목표가 깨진다. 할당표집으로 대표성을 확보했다고 생각한 표본이 품질 검사를 거치고 나면 할당 미달 표본이 되는 것이다. 정제 후 할당을 다시 채우는 추가 수집 예산까지 설계 단계에서 잡아둬야 한다는 실무적 함의가 나온다.
국내 상황에 대입하면 두 가지 생각거리가 있다. 첫째, 이 연구의 세 플랫폼은 모두 자발적 가입 패널 기반이고, 특히 MTurk는 소액 보상을 노린 전업 응답자와 스크립트가 섞인 환경이다. 조사 초대 경로가 다른 조사, 예컨대 통신사 마케팅 수신동의 가입자에게 SMS를 발송해 모바일 웹조사로 연결하는 방식에서는 응답자 풀의 성격 자체가 다르므로 불량 응답의 구성비도 다를 것이다. 다만 어떤 경로든 개방형 응답의 AI 오염과 초고속 응답 문제는 공통이므로, 이 논문의 검사 목록은 점검표로 그대로 쓸 만하다. 둘째, 부록에 20종 검사 전체가 플랫폼별 적발률과 함께 공개되어 있어, 자체 품질 관리 프로토콜을 만들 때 출발점으로 삼기 좋다.
저자들의 결론은 담백하다. 돈을 내고 모은 응답이라고 해서 품질이 보장되지 않으며, 응답자와 검사 설계자 사이의 쫓고 쫓기는 관계는 계속될 것이므로, 조사마다 상황에 맞는 복수의 품질 장치를 사전에 심어두는 것이 유일한 대응이라는 것이다.
소개한 논문
Gittner, K. B., Matheny, L. M., Balkcom, G. D., et al. (2026). Data Quality in Online Crowdsourced Surveys: Methodological Challenges and Analytic Insights in Survey Research. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0017 (오픈액세스)
댓글 없음:
댓글 쓰기