부정응답자를 걸러내면 조사 품질이 좋아질까

퓨리서치센터의 세 가지 선별 방법 비교 실험

퓨리서치센터가 2026년 8월 27일 「No Easy Fix for Bogus Respondents in Online Opt-In Polls」를 공개했다. 온라인 자발적 참여(opt-in) 표본에 섞여 있는 부정응답자를 걸러내는 방법 세 가지를 같은 데이터에 나란히 적용해 결과가 어떻게 달라지는지 비교한 연구다. 수석 방법론자 앤드루 머서(Andrew Mercer)가 작성했다.

결론부터 적으면, 유권자명부 매칭은 오히려 오차를 키웠다. 성실한 응답자를 대거 잘라냈기 때문이다. 국내에서도 응답자 검증을 강화한다며 추가 확인 절차를 붙이는 설계가 늘고 있어서, 이 결과는 남의 나라 이야기로만 보기 어렵다.

실험 설계

조사는 2024년 11월 14일부터 19일까지 미국 성인 11,114명을 대상으로 했다. 표본은 CloudResearch가 제공했고 원 출처는 Cint의 Lucid Marketplace다. 18세 이상 미국 거주자면 참여할 수 있었고 인구통계 할당은 두지 않았다. 대선 직후에 실시했으므로 투표 여부와 후보 선택도 물었다.

설계에서 눈여겨볼 부분은 아무도 중간에 탈락시키지 않았다는 것이다. 사전선별 검사에서 걸린 응답자도 본조사를 끝까지 마치게 했고, 어떤 사례가 어떤 검사에서 왜 걸렸는지만 기록해 두었다. 그런 다음 세 가지 기준을 사후에 적용해 “이 방법을 썼다면 결과가 어떻게 나왔을까”를 재현했다. 방법마다 남는 표본 구성이 달라지므로 가중치도 네 벌(미선별 1벌, 방법별 3벌)을 따로 만들었다. 2023년 ACS 기준으로 보정하고 1·99 백분위에서 절사했다.

이 구조가 중요하다. 실사 중에 걸러내 버리면 걸러진 사람들이 어떤 응답을 했을지 알 수 없다. 다 받아 놓고 사후에 잘라 봐야 무엇을 잃었는지 계산할 수 있다.

세 가지 선별 방법

첫째, 트랩 문항이다. 성실한 응답자라면 ‘아니오’라고 답할 수밖에 없는 질문을 넣고 ‘예’가 나오면 부정으로 본다. 퓨는 네 개를 썼다. SNS 이용 여부를 묻는 문항에 존재하지 않는 플랫폼 Fizzypress를 끼워 넣었고(6%가 이용한다고 답했다), 정부 급여 수령 문항에는 1920년에 없어진 United States Railroad Administration의 지급금을 넣었다(9%). 조사 후반부에는 국제우주정거장에 가 본 적이 있는지(10%), 폴라급 쇄빙선에서 근무한 적이 있는지(8%)를 물었다. 네 문항 중 하나라도 ‘예’가 나온 사례는 1,963건, 전체의 18%였다.

앞의 두 문항을 조사 초반에 배치한 것이 설계상 재미있는 부분이다. 특정 SNS 이용자나 특정 급여 수급자를 찾는 선별 질문처럼 보이게 만들어, 자격을 얻으려고 아무 데나 ‘예’를 찍는 행동을 유도했다.

둘째, 자동 사전선별이다. CloudResearch의 Sentry는 응답자가 조사 링크를 클릭하면 본조사 전에 짧은 문항 묶음을 제시해 예-응답 성향과 부주의 응답을 확인한다. 개방형 답변이 질문에 맞는 내용인지, 다른 곳에서 붙여넣은 것은 아닌지도 자동으로 검사한다. 기기·위치·브라우저 정보로 신원 위장 여부까지 본다. 완료 사례의 절반에 가까운 5,369건이 하나 이상의 검사에서 걸렸고 그중 1,879건은 여러 항목에서 동시에 걸렸다. 걸린 사유는 개방형 응답 문제가 70%로 압도적이었고 예-응답 47%, 부주의 12%, IP 중복 10%, 부정행위 7%, 기타 기술적 검사 1% 순이었다.

셋째, 유권자명부 매칭이다. 이름과 집 주소를 받아 상용 유권자 명부에서 일치 기록을 찾고, 찾지 못하면 버린다. 개인정보 제공에 동의한 응답자는 49%였고 그중 73%가 TargetSmart 명부에 이름·주소·연령·성별 기준으로 매칭됐다. 남은 것은 3,977건, 전체의 36%다. 7,137건(64%)이 제외됐다.

품질 지표는 어떻게 달라졌나

어떤 방법이 부정응답자를 몇 명이나 정확히 잡아냈는지는 알 길이 없다. 그래서 퓨는 선별 전후의 데이터 품질 지표를 비교하는 방식을 택했다. 예-응답 성향(예/아니오 문항 15개 중 10개 이상 ‘예’), 개방형 응답 품질, 응답순서 효과 세 가지다.

표 1. 선별 방법별 데이터 품질 지표(전체 성인)

품질 지표	선별 없음	트랩 문항	자동 사전선별	유권자명부 매칭
예-응답 비율	7%	0.9%	2%	9%
문제 있는 개방형 응답	12%	7%	5%	13%
평균 응답순서 효과	+7%p	+3%p	+4%p	+9%p

자료: Pew Research Center(2026), 2024년 11월 14~19일 미국 성인 온라인 opt-in 조사(n=11,114).

트랩 문항은 예-응답을 사실상 없앴다. 7%에서 0.9%로 떨어졌고 어떤 하위집단에서도 2%를 넘지 않았다. 사전선별도 2%까지 낮췄다. 반면 매칭은 9%로 올렸다. 18~29세는 10%에서 15%로, 히스패닉은 13%에서 17%로 나빠졌다.

그림 1. 연령대별 예-응답 비율(예/아니오 문항 15개 중 10개 이상 ‘예’). 자료: Pew Research Center(2026).

개방형 응답은 12%에서 트랩 7%, 사전선별 5%로 개선됐고 매칭은 13%로 사실상 변화가 없었다. 사전선별은 질문에 맞는 답변의 비율도 80%로 가장 높았다(트랩 74%). 사전선별 절차 자체에 개방형 문항이 들어 있는 것이 이유일 수 있다.

응답순서 효과는 차이가 가장 뚜렷하다. 불법체류자 처리 방식을 묻는 문항에서 보기 순서를 반으로 나눠 뒤집었더니, 선별 전에는 ‘합법 체류를 허용해선 안 된다’가 먼저 제시될 때 43%, 나중에 제시될 때 34%로 9%p 차이가 났다. 남성 +13%p, 18~29세 +15%p, 히스패닉 +17%p였다. 트랩 문항을 적용하면 전체 +4%p로 절반이 줄고 사전선별도 +5%p로 비슷했다. 매칭은 +14%p로 커졌고, 젊은층은 +29%p, 히스패닉은 +25%p까지 벌어졌다. 순서를 무작위화한 13개 문항 평균으로도 같은 형태가 나온다.

그림 2. 무작위화한 13개 문항의 평균 응답순서 효과(%p). 자료: Pew Research Center(2026).

매칭은 왜 실패했나

이유는 두 가지다. 하나는 개인정보 제공을 거부한 절반이 오히려 성실한 응답자였다는 것이다. 거부 집단의 예-응답 비율은 3%인 반면 동의 집단은 12%였다. 순서효과도 거부 집단은 +2%p에 그쳤다. 이름과 주소를 내주지 않는 행동은 불성실의 신호가 아니라 사생활을 지키려는 정상적인 판단이었다.

다른 하나는 부정응답자 중 적지 않은 수가 매칭에 성공할 만큼 정확하고 상세한 연락처를 적어 냈다는 것이다. 자기 것이 아닐 가능성도 있다. 이렇게 걸러 낸 부정응답자보다 함께 잃은 성실 응답자가 많았으니 순효과는 마이너스가 된다.

명부 자체의 한계도 있다. 사업자들이 미등록자까지 포함하려 하지만 퓨의 기존 연구로는 이 집단의 상당 부분이 데이터베이스에 잡히지 않는다. 등록유권자를 대상으로 하는 선거조사라면 큰 문제가 아니지만, 일반 성인 조사에서는 미등록 성향이 높은 집단이 통째로 빠지는 결과가 된다.

걸러진 사람들의 인구 구성도 방법마다 다르다. 트랩과 사전선별은 젊은층·히스패닉·남성을 집중적으로 걸러 냈다. 이 집단이 불성실하다는 뜻이 아니다. 부정응답자가 조사 자격을 얻기 유리한 이 집단 소속이라고 주장하기 때문이다. 반면 매칭은 집단별 제외율이 고르다. 걸러 낸 사유가 사생활 우려나 미등록 같은 무해한 것이었기 때문이다.

표 2. 하위집단별 제외율(%)

집단	트랩 문항	자동 사전선별	유권자명부 매칭
전체 성인	18	48	64
남성	22	51	63
여성	13	45	65
18~29세	29	58	77
65세 이상	3	31	57
백인(비히스패닉)	12	42	61
히스패닉	34	61	67
흑인(비히스패닉)	22	56	67

자료: Pew Research Center(2026).

투표율과 후보 선택

자기보고 등록유권자 기준 2024년 투표율은 선별 전 84%였다. 트랩과 사전선별은 87%, 매칭은 85%로 올렸다. 검증 자료를 쓴 추정치가 77% 정도이므로 선별이 과대추정을 키운 것처럼 보인다. 다만 투표 여부 문항은 보기 순서를 무작위화하지 않았고 ‘확실히 투표했다’가 마지막에 놓여 있었다. 위쪽 보기를 고르는 성향의 응답자가 빠지면 마지막 보기의 비율이 오르는 것이 자연스럽다. 지표가 나빠 보여도 원인을 보기 배치까지 내려가 확인해야 한다는 사례다.

후보 선택은 순서를 무작위화했다. 가중 처리한 원 표본에서는 트럼프와 해리스가 48% 대 48%로 같았다. 해리스는 실제 득표율과 일치했고 트럼프는 2%p 낮았다. 트랩을 적용하면 해리스 +3%p, 사전선별 +6%p, 매칭 +7%p로 벌어졌다. 세 방법 모두 민주당 과대추정을 키운 것이다.

퓨의 해석은 이렇다. 성실 응답자 쪽에 원래 해리스 지지가 과다 대표돼 있었는데, 부정응답자가 트럼프 쪽으로 쏠려 있어 두 편향이 서로 상쇄되고 있었다. 부정응답자를 빼면 감춰져 있던 편향이 드러난다. 개방형 응답에 문제가 있던 사례는 트럼프를 29%p 차로, 예-응답 사례는 30%p 차로 지지했다.

여기서 조심할 부분이 있다. 부정응답자가 늘 공화당 쪽으로 기운다는 뜻은 아니다. 2020년 대선을 물었던 퓨의 이전 벤치마킹 연구에서는 예-응답 사례가 바이든을 34~51%p 차로 지지했다. 지난 선거를 물으면 그냥 이긴 후보를 고른다고 보는 편이 맞다. 국내 조사에서 회고 투표 문항에 당선자 응답이 부풀려 나오는 현상도 같은 원인을 일부 포함하고 있을 것이다.

개방형 응답을 LLM으로 코딩한 절차

퓨는 개방형 답변을 관련 있음, 무응답, 일반적 긍정 평가, 기타 동문서답, 횡설수설, AI 추정의 여섯 범주로 코딩했다. 문항은 정치인이 법과 정책을 만들 때 자기 상황에 대해 무엇을 알아 주었으면 하는지 자유롭게 적게 한 것이다.

절차가 참고할 만하다. 먼저 300건을 두 명이 독립 코딩해 Krippendorff의 알파 0.85를 확인했다. 여기에 900건을 더해 1,200건의 인간 코딩 기준 세트를 만들었다. GPT-4o용 프롬프트를 작성해 이 세트를 코딩시키고, 사람과 다르게 나온 사례를 검토해 프롬프트를 고치는 과정을 여러 차례 반복했다. 최종 일치율 89%, F1 0.86이었고 범주별로는 일치율 91~98%, F1 0.92~0.99였다. 그 프롬프트를 나머지 전체에 적용했다.

AI 추정 범주는 코드북을 만든 뒤에 추가됐다. 전체의 1%로 잡혔는데, 문체가 눈에 띄게 다른 것만 걸렸고 더 자연스러운 AI 응답은 못 잡았을 것이라고 보고서 스스로 밝히고 있다. 웹조사에서 개방형 답변을 챗봇에 시키는 응답자를 어떻게 볼 것인지는 앞으로 계속 커질 문제다.

국내 조사에 옮겨 놓고 보면

1. 개인정보 제공 의사를 품질 신호로 쓰면 안 된다. 실명·주소·본인인증 같은 확인 절차를 붙이면 성실한 응답자가 먼저 빠져나간다. 검증 장치를 넣을 때는 걸러지는 쪽이 누구인지를 반드시 따로 확인해야 한다. 표본만 줄고 오차는 그대로이거나 커지는 경우가 실제로 생긴다.

2. 트랩 문항은 비용이 거의 들지 않으면서 효과가 있었다. 다만 한국판을 따로 만들어야 한다. 존재하지 않는 앱 이름, 오래전에 없어진 제도의 수급 여부처럼 정답이 확실한 문항이 필요하다. 오탐도 살펴야 한다. 퓨는 네 문항 중 하나만 걸려도 부정으로 처리했고 그 결과 18%가 제외됐다. 퓨 스스로도 트랩 문항이 성실한 응답자를 혼란시켜 위양성을 만든다는 선행연구를 인용하고 있다. 컷오프를 몇 개로 잡을지는 데이터를 보고 정할 일이다.

3. 개방형 한 문항을 넣고 LLM으로 1차 분류하는 방식은 지금 바로 쓸 수 있다. 중요한 것은 프롬프트가 아니라 검증 절차다. 인간 코딩 기준 세트를 먼저 만들고 일치율을 확인한 다음 전체에 적용하는 순서를 지켜야 한다. 이 과정을 건너뛰면 무엇을 걸러 냈는지 설명할 수 없다.

4. 응답순서 무작위화는 품질 진단 도구로도 쓸 수 있다. 보기 순서를 반으로 나눠 뒤집고 두 반쪽의 차이를 계산하면 표본 품질을 사후에 점검할 수 있다. 문항 몇 개만 무작위화해 두어도 나중에 쓸 수 있는 자료가 된다.

5. 이 문제는 응답자가 스스로 등록해 들어오는 패널의 문제다. 통신사 가입자 데이터베이스에서 추출해 문자로 발송하는 방식은 참여 보상을 노린 반복 응답자가 표본에 진입하는 경로가 다르므로 이 위협에서 상대적으로 자유롭다. 확률 표집이 부정응답에 강한 이유도 같다. 다만 그 대신 무응답 편향과 커버리지 문제는 따로 관리해야 한다.

6. 정화 작업의 목적을 분명히 해야 한다. 퓨도 명부 매칭이 다른 용도로는 유용하다고 적었다. 매칭에 성공하면 등록 여부와 과거 투표 이력을 얻을 수 있다. 이 연구가 말하는 것은 매칭을 부정응답자 제거 수단으로 쓰는 것이 효과적이냐 하는 문제에 한정된다.

남는 문제

퓨의 제목이 말하듯 확실한 해법은 아직 없다. 트랩 문항과 사전선별은 품질 지표를 개선했지만 부정응답자를 얼마나 잡았는지, 성실 응답자를 얼마나 잘못 버렸는지는 여전히 알 수 없다. 지표가 좋아졌다는 것과 추정치가 정확해졌다는 것이 같은 말도 아니다. 후보 지지 추정에서는 세 방법 모두 오차를 키웠다.

그래도 남는 교훈은 분명하다. 응답자를 걸러 내는 장치는 그 자체로 하나의 표집 과정이다. 무엇을 걸러 내는지만 보고 무엇을 함께 잃는지 계산하지 않으면, 깨끗해 보이는 편향된 데이터가 남는다.

 

Pew Research Center, August 2026, “No Easy Fix for Bogus Respondents in Online Opt-In Polls” (2026년 8월 28일 정정 공지 반영).