조사 모드 차원 분해표

조사 모드 차원 분해표

1. 문제의식

"문자 인터뷰는 웹조사인가", "이메일에 파일을 첨부해 회수하는 조사는 무슨 모드인가" 같은 질문은 답이 없는 것이 아니라 질문의 형식이 잘못된 것이다. 모드를 상자로 분류하는 한 새로운 기술이 나올 때마다 상자에 안 들어가는 사례가 쌓인다. 대안은 모드를 여섯 개 차원의 조합으로 기술하는 것이다. 각 조사는 상자에 담기는 대신 좌표를 갖는다.

2. 여섯 차원

–   접촉(초대) 채널: 응답자에게 조사 참여 요청이 도달하는 경로. 대면, 전화, 우편, 이메일, 문자메시지(SMS·LMS·RCS), 메신저, SNS 광고 등. 채널은 특정 기술 규격이 아니라 속성(지속성, 인지성, 도달 범위)으로 기술한다. SMS가 RCS로 넘어가도 좌표는 같은 자리다.

–   설문 도구 형태: 문항이 담긴 그릇의 성질. 대화형(에이전트가 문항을 한 번에 하나씩 제시하고 응답을 확인한 뒤 진행), 정적 문서(로직과 검증이 없는 고정된 문서: 종이 설문지, 한글·워드 파일), 프로그래밍 도구(로직 점프, 응답 검증, 필수응답 강제가 내장된 웹·모바일 설문 시스템)로 나뉜다.

–   진행 통제 주체: 문항 제시의 순서와 속도를 누가 쥐는가. 에이전트 통제 대 응답자 통제.

–   에이전트 성격: 인간 / 자동(녹음, 스크립트, 생성형) / 없음(자기기입).

–   응답 채널: 구두, 키패드, 텍스트 입력, 터치·클릭, 지필, 파일 작성·회신.

–   동시성: 응답까지의 시간에 상한이 있는가. 동기 대 비동기.

3. 분해표

모드	접촉 채널	설문 도구	진행 통제	에이전트	응답 채널	동시성
대면면접 (CAPI)	대면 방문	대화 스크립트	에이전트	인간	구두	동기
전화면접 (CATI)	전화	대화 스크립트	에이전트	인간	구두	동기
ARS	전화	대화 스크립트	에이전트	자동(녹음)	키패드	동기
AI 음성 인터뷰	전화	대화 스크립트	에이전트	자동(생성형)	구두	동기
우편조사	우편	정적 문서(종이)	응답자	없음	지필	비동기
이메일 첨부 조사	이메일	정적 문서(파일)	응답자	없음	파일 회신	비동기
PC 웹조사	이메일 등	프로그래밍 도구	응답자	없음	클릭·입력	비동기
문자 발송 모바일 웹조사	문자메시지	프로그래밍 도구	응답자	없음	터치·입력	비동기
문자 인터뷰(인간)	문자메시지	대화 턴 교환	에이전트	인간	텍스트 입력	비동기
문자 인터뷰(자동)	문자메시지	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기
메신저 챗봇 조사	메신저	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기

 

4. 표가 정리하는 경계 사례

–   문자 인터뷰 대 문자 발송 모바일 웹조사: 접촉 채널(문자메시지)은 같고 설문 도구(대화 턴 교환 대 프로그래밍 도구)와 진행 통제(에이전트 대 응답자)에서 갈라진다. "둘 다 문자조사"라는 뭉뚱그림이 왜 부정확한지가 좌표로 드러난다.

–   RCS와 챗봇 조사의 수렴: 버튼과 리치 카드를 지원하는 RCS로 문항을 하나씩 주고받으면 문자 인터뷰(자동)와 메신저 챗봇 조사의 좌표가 사실상 일치한다. 남는 차이는 채널 운영 주체(통신망 표준 대 플랫폼 사업자)인데, 이는 측정 환경이 아니라 도달 가능 모수, 즉 표집틀과 커버리지의 문제다. 미지원 단말에 SMS·LMS로 대체 발송되는 폴백 구조도 같은 이유로 커버리지 서술에 속한다.

–   이메일 첨부 조사 대 우편조사: 접촉 채널만 다르고 나머지 좌표가 전부 같다. 이메일 첨부 조사가 웹조사가 아니라 우편조사의 직계라는 판단이 표에서 바로 확인된다.

–   ARS 대 AI 음성 인터뷰: 응답 채널(키패드 대 구두)과 에이전트의 세부 성격(녹음 대 생성형)이 구분점이다. ARS를 자기기입식으로 볼지 면접식으로 볼지의 오랜 논쟁도 이 틀에서는 "에이전트 통제이므로 면접형, 다만 자동 에이전트"로 정리된다.

–   동시성 재분류: 문자 인터뷰는 대화형이면서 비동기라는 조합으로, 대화형은 곧 동기라는 통념을 깬다. Conrad 등(2026)이 보고한 문자 인터뷰의 반올림 감소는 이 비동기 셀의 효과다.

5. 차원과 오차원의 대응

이 분해가 실무적으로 중요한 이유는 총조사오차의 오차원이 차원별로 따로 붙기 때문이다.

차원	주로 지배하는 오차원
접촉 채널	커버리지 오차, 무응답 오차 (표집틀 도달과 접촉 성공)
설문 도구 형태	측정오차(로직 강제·검증 유무), 처리오차(수작업 입력·정제)
진행 통제	측정오차(문항 건너뛰기, 전체 훑어보기에 따른 순서효과)
에이전트	면접원 효과, 사회적 바람직성 편향, 민감 문항 공개 수준
응답 채널	인지 부담, 척도 제시 방식의 제약
동시성	시간 압박에 따른 만족화(반올림, 즉답), 심사숙고 여지

 

이메일 첨부 조사의 데이터 품질 문제는 이메일이라는 접촉 채널이 아니라 정적 문서라는 도구 형태에서 발생한다. 문자 발송 모바일 웹조사의 빠른 필드는 문자 채널의 지속성·인지성에서 나오고, 응답 품질은 프로그래밍 도구와 비동기성 셀이 결정한다. 모드 개선을 논할 때 어느 차원을 건드리는 것인지 특정할 수 있게 된다.

6. 남는 논점

–   혼합모드 조사는 이 표에서 복수의 행을 갖는 조사로 기술된다. 모드 효과 분석은 행 간 비교가 아니라 차원 간 비교로 내려가야 한다.

–   접촉 채널과 표집틀은 밀접하지만 별개다. 같은 문자 접촉이라도 표집틀이 통신사 마케팅 수신동의 가입자 명부인지 자발적 가입 패널인지에 따라 커버리지 성질이 다르고, RCS 대 메신저의 실질적 차이도 표집틀 쪽에서 발생한다. 표집틀을 일곱째 차원으로 분리하는 쪽이 일관적이며, 이 경우 표집틀 차원은 Frame Procurement Error와 직접 연결된다.

–   에이전트의 자동 범주 안에서 녹음·규칙 기반과 생성형의 구분이 앞으로 더 중요해질 것이다. 생성형 에이전트는 프로빙과 명료화가 가능해 인간 쪽 성질을 일부 갖는다.

–   RCS의 발신 브랜드 프로필과 인증 마크는 발신자 신뢰라는 채널 속성을 추가로 제기한다. 무명 번호 SMS와 인증된 기업 프로필 RCS는 같은 초대장이라도 응답 결정 단계에서 다르게 작동할 수 있어, 무응답 오차 관점의 검증 과제다.

 

느리게 답할수록 반올림이 줄었다: 문자 인터뷰 모드의 세 가지 속성

문자메시지를 조사에 쓰는 방식은 두 갈래다. 하나는 문자로 초대장을 보내고 응답은 웹 설문에서 받는 방식이고, 다른 하나는 문자 대화창 안에서 질문과 응답을 주고받는 문자 인터뷰다. 미시간대학의 Conrad 연구팀이 JSSAM에 발표한 이 논문은 후자, 즉 문자 인터뷰 모드를 전화(음성) 인터뷰와 정면 비교한 연구다. 흥미로운 점은 결과 나열에 그치지 않고, 문자라는 매체의 속성 세 가지로 그 결과들을 설명하는 이론틀을 세웠다는 것이다.

세 속성은 이렇다. 문자는 비동기적이다. 답장까지의 시간에 상한이 없어서 응답자가 필요한 만큼 생각하고 답할 수 있다. 문자는 지속된다. 말은 발화 순간 사라지지만 문자는 지우기 전까지 기기에 남아, 몇 시간 뒤에도 앞 메시지를 다시 읽고 답할 수 있다. 그리고 문자는 눈에 띈다. 알림과 미확인 표시가 "아직 답하지 않은 메시지가 있다"는 사실을 계속 상기시킨다. 전화벨은 20초 울리고 끝나지만 문자 초대장은 스스로가 독촉장 역할을 한다. 비동기성은 지속성과 인지성 위에서 성립한다. 메시지가 남아 있고 그 존재를 알고 있어야 나중에 답하는 것이 가능하기 때문이다.

데이터는 아이폰 사용자 634명을 네 모드에 무작위 배정한 실험에서 나왔다. 자동 문자(AT), 인간 면접원 문자(HT), 자동 음성(AV), 인간 전화면접(HV)이다. 같은 32개 문항을 물었고, 그중 9개가 수치 응답 문항이라 반올림 응답(0이나 5로 끝나는 값)이라는 만족화 지표를 모드 간 비교할 수 있었다. 원 실험(Schober et al. 2015)에서 문자 응답자가 만족화를 덜 하고 민감 정보를 더 공개한다는 결과는 이미 보고됐고, 이번 논문은 그 이유를 시간 데이터로 파고든 후속 분석이다.

결과를 순서대로 보자. 첫째, 인터뷰 시작률은 문자 65.3% 대 음성 49.5%로 문자가 확실히 높았다. 인간 면접원이 문자로 초대한 조합(HT)이 77.5%로 가장 높았는데, 응답자가 상대가 인간인지 기계인지를 어떤 수준에서든 감지하고 인간 쪽에 더 응한다는 뜻이다. 둘째, 개별 인터뷰는 문자가 길었다. 중위값 기준 HT 30분, AT 19분, AV 12분, HV 7.6분이다. 그런데 이 길이가 응답자의 장기 이탈 때문은 아니었다. 15분 이상의 긴 공백은 문자 응답의 1% 안팎에 불과했고, 대신 응답시간의 분산이 문자에서 훨씬 컸다. 쉬운 문항은 빨리, 어려운 문항은 천천히 답하는, 과제 난이도에 맞춘 시간 배분이 일어난 것이다.

이 논문의 백미는 셋째 결과다. 응답시간을 3분위로 나눠 반올림 응답률을 보면, 문자 인터뷰에서는 느리게 답할수록 반올림이 줄었다(AT 기준 빠름 51.7% → 느림 39.3%). 시간을 들인 만큼 기억을 실제로 헤아려 정확한 수를 냈다는 해석이다. 음성 인터뷰에서는 정반대로, 느리게 답할수록 반올림이 늘었다(HV 기준 51.1% → 57.2%). 즉답이 가능한 응답자는 정확한 값을 빨리 말하지만, 바로 떠오르지 않는 응답자는 침묵의 압박 속에서 헤아리기를 포기하고 어림수를 던진다는 것이다. 같은 "느린 응답"이 문자에서는 품질의 신호이고 음성에서는 만족화의 전조라는, 응답시간 해석의 모드 의존성을 이만큼 깔끔하게 보여준 분석은 드물다.

넷째 결과는 실무자에게 가장 반가운 역설이다. 개별 인터뷰는 문자가 더 긴데, 필드 전체는 문자가 훨씬 빨리 끝났다. AT는 6일, HT는 11일 만에 목표를 채웠고 음성 두 모드는 16일이 걸렸다. AT는 첫날에 93%가 완료됐고 그중 75%는 초대 후 한 시간 안에 끝났다. 수수께끼의 답은 리크루팅 시간에 있다. 완료 응답자 기준 중위 리크루팅 시간이 AT 9분, HT 38분인 반면 AV는 4시간, HV는 20시간이었다. 문자 초대는 사실상 불접촉이 없고, 지속성과 인지성 덕에 재접촉 없이도 응답자가 스스로 돌아온다. 전화는 통화가 성사될 때까지 하루 이상 간격의 재시도가 쌓인다. 인터뷰 7.6분짜리 HV의 리크루팅이 20시간이니, 필드 속도는 인터뷰 길이가 아니라 리크루팅이 결정한다는 것이다. 저자들은 이 속도가 CNN 등이 대선 토론이나 국정연설 직후의 즉석 여론측정에 문자 인터뷰를 쓰는 이유라고 연결한다.

한계는 저자들도 길게 적었다. 데이터가 2012년 수집분이라 분석까지 10년 이상 묵었고, 편의표본이며, 사전에 조사 참여에 동의한 사람들에게 보낸 초대라 시작률이 콜드 초대보다 높게 나왔을 것이다. 다만 문자의 세 속성 자체는 그때나 지금이나 같으므로 기제에 대한 결론은 유지된다는 것이 저자들의 방어인데, 수긍할 만하다.

국내 실무의 관점에서는 이 논문을 읽을 때 모드 구분을 정확히 해두는 것이 중요하다. 이 논문의 문자 인터뷰는 문자 대화창 안에서 문항을 하나씩 주고받는 방식으로, 문자를 초대장으로만 쓰고 응답은 모바일 웹 설문에서 받는 방식과는 측정 환경이 다르다. 국내에서 통신사 마케팅 수신동의 가입자에게 SMS를 발송해 모바일 웹조사로 연결하는 방식은 후자에 속한다. 그래서 이 논문의 발견 중 리크루팅 관련 결과, 즉 문자 초대의 지속성과 인지성이 만드는 빠른 필드는 SMS 발송 기반 웹조사에도 그대로 적용되는 반면, 대화창 내 문답이라는 인터뷰 방식 자체의 효과는 별개 검증이 필요하다. 모바일 웹 설문도 응답자가 자기 속도로 진행하는 비동기적 환경이므로 반올림 감소 기제는 상당 부분 공유할 것으로 기대되지만, 한 문항씩 문자로 받는 것과 화면을 스크롤하며 답하는 것의 차이는 이 논문 바깥의 질문이다. 문항 수 상한에 대한 참고치도 하나 있다. 인용된 실험에 따르면 39문항까지는 문자 인터뷰의 완료율이 문자-웹 방식보다 높았고 그 이상에서 역전됐다.

마지막으로 자동 문자 인터뷰라는 형태 자체가 눈여겨볼 대상이다. 사전 스크립트 기반의 단순한 시스템으로도 첫날 93% 완료라는 속도가 나왔는데, LLM이 응답 확인과 재질문까지 처리하는 요즘의 대화형 에이전트를 얹으면 어떻게 될지는 자연스러운 다음 질문이다. 토론회 직후, 재난 직후처럼 측정 시점이 곧 데이터 가치인 조사에서, 자동 문자 인터뷰는 국내에서도 시도해 볼 여지가 있는 설계다.

---

소개한 논문

Conrad, F. G., Hupp, A. L., Antoun, C., Yan, H. Y., Schober, M. F., & Harrison, M. (2026). Text Messaging as a Survey Interviewing Mode: A Deeper Look. Journal of Survey Statistics and Methodology. https://doi.org/10.1093/jssam/smaf039

분석 데이터는 Open ICPSR에 공개되어 있다(https://doi.org/10.3886/E100113V2).

 

같은 설문, 세 플랫폼: MTurk 응답의 90%가 품질 검사를 통과하지 못했다

유료 응답자 패널로 웹조사를 돌릴 때 어느 플랫폼을 쓰느냐가 데이터 품질을 얼마나 좌우하는지 정면으로 비교한 연구가 나왔다. Kennesaw 주립대 연구진이 Survey Practice에 발표한 이 논문은 동일한 건강 설문을 Qualtrics(705명), SurveyMonkey(576명), Amazon Mechanical Turk(1,034명) 세 곳에서 수집하고, 20종의 품질 검사를 돌려 결과를 비교했다.

결과는 플랫폼 간 격차가 예상보다 훨씬 크다는 것이다. 완료 응답 2,315건 중 모든 검사를 통과한 응답은 947건, 40.9%에 그쳤다. 플랫폼별로는 SurveyMonkey 70.5%, Qualtrics 61.8%, MTurk 10.2%였다. MTurk 응답 열에 아홉이 최소 하나 이상의 품질 검사에 걸렸다는 뜻이다. 다만 SurveyMonkey는 80문항 제한 때문에 개방형 문항 검사를 넣지 못했고, 저자들도 이 수치가 부풀려졌을 가능성을 인정한다.

20종의 검사는 다섯 범주로 나뉜다. 지시형 주의 확인 문항("Moderate Difficulty를 선택하세요"), 인구통계 교차 확인(주와 우편번호 일치 여부), 논리 확인(하프마라톤이 울퉁불퉁한 길 걷기보다 쉽다고 답하는 경우), 정직성·신뢰성 확인(남성이 임신 중이라고 답하거나 BMI가 타당 범위를 벗어나는 경우, 중위 소요시간의 절반 미만 초고속 응답), 그리고 개방형 응답 검토다. 어떤 검사가 잘 작동하는지도 플랫폼마다 달랐다. MTurk에서는 정직성·신뢰성 검사가 응답의 40.4%를 걸러낸 반면, Qualtrics와 SurveyMonkey에서는 주의 확인 문항이 가장 많이 걸러냈다. 불량 응답자는 평균 1.5개 검사에만 걸렸고 여섯 개를 넘겨 걸린 사람은 없었다. 하나의 검사로는 잡히지 않는 응답자가 대부분이라는 뜻으로, 품질 관리를 단일 장치에 기대면 안 되는 이유다.

개방형 문항에서 나온 발견이 특히 눈에 띈다. 수동 검토에서 걸러진 응답의 세 유형은 AI 생성 의심 응답, 설문 문안이나 웹 문서를 그대로 붙여넣은 응답, 무의미 응답이었다. AI 의심 응답 중에는 "저는 물리적 신체가 없으므로 발이나 발목이 없고, 따라서 관련된 어려움을 경험하지 않습니다"라는, 발목 기능을 묻는 문항에 챗봇 거절 문구를 그대로 붙여넣은 사례가 있었다. 응답자가 질문을 LLM에 넣고 나온 답을 검수도 없이 제출한 것이다. 지난번에 소개한 POQ 논문(DiGiuseppe와 Flynn)이 숨은 지시문으로 상위 응답자의 4분의 1이 AI를 쓴다는 것을 밝혀낸 것과 나란히 놓고 보면, 유료 패널의 개방형 응답에 AI가 스며드는 현상은 이제 개별 플랫폼의 일탈이 아니라 업계 전반의 상수로 봐야 한다.

실무자에게 더 아픈 대목은 품질과 표본 구성의 관계다. 불량 응답은 인구통계적으로 무작위가 아니었다. Qualtrics에서는 남성과 고소득층에, MTurk에서는 중간 소득 구간에 몰려 있었다. 그래서 불량 응답을 제거하면 표본 구성이 센서스 기준에 가까워지는 대신, 사전에 설계한 할당 목표가 깨진다. 할당표집으로 대표성을 확보했다고 생각한 표본이 품질 검사를 거치고 나면 할당 미달 표본이 되는 것이다. 정제 후 할당을 다시 채우는 추가 수집 예산까지 설계 단계에서 잡아둬야 한다는 실무적 함의가 나온다.

국내 상황에 대입하면 두 가지 생각거리가 있다. 첫째, 이 연구의 세 플랫폼은 모두 자발적 가입 패널 기반이고, 특히 MTurk는 소액 보상을 노린 전업 응답자와 스크립트가 섞인 환경이다. 조사 초대 경로가 다른 조사, 예컨대 통신사 마케팅 수신동의 가입자에게 SMS를 발송해 모바일 웹조사로 연결하는 방식에서는 응답자 풀의 성격 자체가 다르므로 불량 응답의 구성비도 다를 것이다. 다만 어떤 경로든 개방형 응답의 AI 오염과 초고속 응답 문제는 공통이므로, 이 논문의 검사 목록은 점검표로 그대로 쓸 만하다. 둘째, 부록에 20종 검사 전체가 플랫폼별 적발률과 함께 공개되어 있어, 자체 품질 관리 프로토콜을 만들 때 출발점으로 삼기 좋다.

저자들의 결론은 담백하다. 돈을 내고 모은 응답이라고 해서 품질이 보장되지 않으며, 응답자와 검사 설계자 사이의 쫓고 쫓기는 관계는 계속될 것이므로, 조사마다 상황에 맞는 복수의 품질 장치를 사전에 심어두는 것이 유일한 대응이라는 것이다.

---

소개한 논문

Gittner, K. B., Matheny, L. M., Balkcom, G. D., et al. (2026). Data Quality in Online Crowdsourced Surveys: Methodological Challenges and Analytic Insights in Survey Research. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0017 (오픈액세스)

 

ChatGPT는 인간 코더의 주제분석을 재현할 수 있는가: 9·11 데이터 재분석 실험

개방형 응답을 받아놓고 코딩할 엄두가 나지 않아 묵혀둔 데이터가 있다면 눈여겨볼 만한 연구다. 육군 대령 출신 심리학자 Paul Bartone이 Survey Practice에 발표한 이 논문은 2001년 9·11 테러 직후 웨스트포인트 육군사관학교 신입생도 134명에게 받아둔 개방형 응답을 재료로, 전통적 주제분석과 ChatGPT 분석을 나란히 수행해 결과를 대조했다.

설계는 단순하다. 두 개방형 질문("테러가 당신에게 개인적으로 어떤 영향을 주었나", "이 사건과 정부 대응에 대한 감정은 어떤가")에 대해 먼저 인간 코더 두 명이 Braun과 Clarke의 절차를 따라 귀납적으로 주제를 추출했다. 코더 간 일치율은 문항별로 85.3%와 78.7%였다. 그다음 같은 자료를 무료 버전 ChatGPT 4.0에 배경 설명과 함께 넣고, 주제 수나 형식에 제한을 두지 않은 채 주제 추출을 시켰다.

결과의 큰 그림은 상당한 일치다. 두 문항 모두에서 인간과 ChatGPT는 같은 주제 구조를 찾아냈다. 정부 대응에 대한 질문에서는 양쪽 다 "정부가 잘 대응하고 있다"를 최다 언급 주제로 잡았고, 신속하고 강경한 대응 요구, 분노와 충격, 희생자에 대한 슬픔, 애국심과 국민 통합, 정부 비판까지 범주 구성이 거의 겹쳤다. 라벨의 표현만 달랐을 뿐이다.

차이는 두 방향에서 나왔다. 하나는 세분화 성향이다. 첫 문항에서 인간 코더가 8개 주제를 잡은 반면 ChatGPT는 11개를 잡았다. 인간이 "정서 반응" 하나로 묶은 것을 ChatGPT는 분노와 복수 욕구를 따로 떼어냈고, 의무감 관련 주제를 세 갈래로 나눴다. 저자는 이 세분화가 그 자체로는 정당해 보이며, 오히려 인간보다 미세한 구분에 민감했을 수 있다고 평가한다. 다른 하나는 잠재 내용에 대한 둔감함이다. "나는 직접 영향을 받지는 않았지만 많은 미국인이 군의 중요성을 깨달았을 것"처럼 여러 주제가 섞인 문장에서 인간 코더는 '영향 없음'을 함께 코딩했지만 ChatGPT는 단순 명료한 표현만 세었다. 그 결과 이 범주의 빈도가 인간 33건, ChatGPT 5건으로 크게 벌어졌다. 표면 문구에는 강하고 행간에는 약하다는, 다른 연구들과 일치하는 패턴이다.

저자가 제안하는 실무 모형은 역할 분담이다. ChatGPT에게 제한 없이 잘게 주제를 뽑게 한 뒤, 인간 연구자가 그 세부 범주들을 상위 주제로 묶는 방식이다. 기계가 잘하는 세분화와 인간이 잘하는 추상화를 순서대로 배치하면, 연구자가 분석에서 손을 떼지 않으면서 초기 처리 시간을 크게 줄일 수 있다는 것이다.

이 논문을 읽는 요령에 대해 한마디 보태자면, 지난번 소개한 POQ의 쌍대비교 논문과 용도가 다르다는 것을 구분해야 한다. 쌍대비교와 Bradley-Terry는 응답을 하나의 잠재 차원 위에 줄 세우는 척도화 도구이고, 이 논문의 주제분석은 응답을 여러 범주로 분류하고 빈도를 세는 코딩 작업이다. 개방형 응답을 LLM으로 처리한다는 큰 틀은 같지만 과제가 다르고, 검증 방식도 다르다. 이 논문의 한계도 그 관점에서 읽힌다. 빈도 일치를 정량 지표 없이 눈대조로 평가했고, 단일 모델 단일 시점 결과라 재현성 검증이 없으며, 자료가 영어 단문이라는 조건도 붙는다. 일본 임상 자료에서 ChatGPT가 문화적 해석에 약했다는 선행 연구가 인용되어 있는 만큼, 한국어 응답에서는 존댓말과 완곡 표현이 잠재 내용 문제를 더 키울 가능성이 있다.

그래도 이 연구의 쓸모는 분명하다. 분석 인력이 없어 개방형 데이터를 묵히는 것보다, LLM으로 초벌 주제 지도를 그리고 인간이 검수하는 편이 낫다는 것을 20년 묵은 실제 자료로 보여줬기 때문이다. 프롬프트 전문과 ChatGPT 응답 원문이 보충자료로 공개되어 있어 따라 해보기도 쉽다.

---

소개한 논문

Bartone, P. (2026). Using AI for Rapid and Cost-Effective Identification of Core Themes in Qualitative Text Data. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0024 (오픈액세스)

 

전화 응답자에게 그림을 보여주는 방법: 아스펜시 조사의 우편엽서 실험

전화조사의 오랜 제약 하나는 응답자에게 아무것도 보여줄 수 없다는 것이다. 교량 설계안처럼 공간적이고 기술적인 대상을 말로만 설명하면 인지 부담이 커지고 측정오차가 생긴다. 웹조사와 우편조사는 시각자료를 쓸 수 있으니, 혼합모드 설계에서는 모드 간 정보 환경 자체가 달라지는 문제가 겹친다. Claremont 대학원의 Adam Probolsky가 Survey Practice에 발표한 이 연구노트는 이 제약을 우편엽서로 우회한 사례 보고다.

무대는 콜로라도주 아스펜시의 2024년 지역사회 조사다. 조사 주제는 Castle Creek 교량 교체안 네 가지에 대한 주민 선호였다. 조사 시작 전에 모든 등록 유권자 개인에게 회랑 지도와 교량 대안 조감도, 조사 URL, QR코드, 수신자부담 전화번호가 인쇄된 엽서를 발송했다. 전화 인터뷰를 시작할 때는 응답자에게 엽서가 수중에 있는지 묻고, 없으면 같은 시각자료가 올라 있는 공개 웹페이지로 안내했다. 인터뷰 중에는 표준화된 안내문으로 해당 문항에서 시각자료를 참조하도록 유도했다. 웹 응답자든 전화 응답자든 같은 그림을 보며 답하게 만든 것이다.

결과에서 눈여겨볼 것은 교량 선호의 순위 구조다. 전화(29명)와 웹(271명) 표본은 인구 구성이 상당히 달랐는데도, 네 가지 대안의 1순위 선호 순위가 두 모드에서 완전히 일치했고 선택 비율의 평균 절대 차이는 3.4%p였다. 저자는 공통의 시각적 준거가 응답을 정박시킨 결과일 수 있다고 해석한다. 부수적 발견도 흥미로운데, 전화 표본이 웹 표본보다 젊고 인종적으로 다양했다. 전화조사 응답자는 고령층이라는 통념과 반대 방향이다.

이 연구는 스스로 한계를 명확히 밝히는 보고서다. 전화 표본이 29명에 불과해 통계적 비교가 불가능하고, 시각자료 없는 통제집단이 없어 인과 효과를 말할 수 없으며, 응답자가 실제로 그림을 봤는지 검증할 방법도 없다. 저자가 조사 수행사 대표 본인이라는 이해관계 고지도 붙어 있다. 그래서 이 글은 결과 논문이 아니라 실행 가능성 보고로 읽어야 하고, 저자도 그렇게 규정한다.

그런데도 이 사례를 소개하는 이유는 설계 발상 때문이다. 시각자료 문제를 조사 도구 안에서 풀지 않고, 접촉 단계의 우편물이라는 별도 채널로 푼 것이다. 전 유권자 명부에 개인 단위로 발송해 커버리지를 확보하고, 엽서가 없는 응답자를 위한 웹 대체 경로까지 이중으로 깔았다. 국내 실무로 옮겨 보면 응용 범위가 제법 있다. 모바일 웹조사는 시각자료 제시가 원래 자유로우니 이 논문의 문제의식이 직접 걸리지는 않지만, 지자체 조사에서 도시계획안이나 시설 배치도처럼 화면 하나에 담기 어려운 자료를 다룰 때 사전 우편물과 조사 화면을 결합하는 설계, 혹은 ARS나 전화면접이 불가피한 조사에서 안내물을 먼저 보내는 설계의 참고 사례가 된다. 고령층 대상 조사에서 종이 자료를 먼저 보내고 전화로 응답을 받는 조합도 같은 계열의 설계다.

다음 단계는 명확하다. 시각자료 유무를 무작위 배정한 실험 설계, 그리고 응답자가 자료를 실제 참조했는지 확인하는 검증 문항이다. 이 노트는 그 실험을 해볼 가치가 있다는 것까지를 보여준다.

---

소개한 논문

Probolsky, A. (2026). Visual Integration in Multimodal Surveys: A Case Study. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0022 (오픈액세스)

여섯 명, 20분, 열흘: 미국 센서스국의 마이크로테스팅

설문 개발 과정에서 인지면접을 한 라운드 더 돌리고 싶은데 일정과 예산이 허락하지 않는 상황은 누구나 겪는다. 대규모 설계 프로젝트일수록 검증 라운드가 계약으로 묶여 있어서, 앞 라운드 결과가 애매하게 나와도 다음 라운드까지 결정을 미루거나 무리하게 확정하고 넘어가야 한다. 미국 센서스국의 Jennifer Sinibaldi가 Survey Practice에 발표한 이 연구노트는 그 경직성을 푸는 도구로 마이크로테스팅(MicroTesting)이라는 기법을 제안한다.

정의는 이름 그대로다. 라운드당 6~10명, 인터뷰당 20분 내외, 전체 설문이 아니라 문제가 된 일부 구간만, 그 구간과 직접 관련된 응답자만 뽑아서 하는 짧은 질적 테스트다. 대규모 테스트가 계약으로 외주화되어 있어도 마이크로테스팅은 내부 인력으로 필요한 시점에 시작하고 원하는 피드백을 얻으면 바로 끝낸다.

배경이 된 프로젝트는 Current Population Survey의 연간 사회경제 부가조사(ASEC)를 웹 조사용으로 재설계하는 4년짜리 사업이다. 탐색 면접, 인지면접 두 라운드, 사용성 테스트까지 대형 질적 테스트 네 라운드가 계약에 박혀 있는데, 건강보험 유형을 거르는 초반 필터 문항의 보기 문안이 라운드를 거쳐도 확정되지 않았다. 여기에 마이크로테스팅이 투입됐다. 65세 이상만 뽑아 보충보험에 가입한 사람도 Medicare 보기를 제대로 고르게 하려면 어떤 키워드가 필요한지 확인하고, 교사만 뽑아 "school을 통한 보험"이라는 보기가 대학생용인데 교사가 잘못 고르지 않는지 확인했다. 여덟 명 인터뷰, 열흘 만에 종료됐다.

이 기법의 쓸모는 몇 가지로 정리된다. 다음 대형 라운드를 기다리지 않고 문제를 즉시 다룰 수 있고, 한 라운드에 너무 많은 검증 과제를 욱여넣는 압박을 덜어주며, A/B 대안을 미리 좁혀서 본 라운드가 단일안 정교화에 집중하게 해주고, 참고할 문헌이 없는 설계 판단을 데이터로 뒷받침할 수단이 된다. 저자는 가구원 관계 로스터를 순차 질문으로 할지 격자로 할지 같은 형식 결정을 인지면접 전에 마이크로테스팅으로 거르는 응용도 제안한다.

주의점도 실무적이다. 규모만 작을 뿐 프로토콜 설계, 리크루팅, 동의 절차, 결과 메모까지 정식 질적 테스트의 절차는 다 필요하다. 센서스국은 자체 리서치 패널에서 조건에 맞는 대상자를 초대해 리크루팅을 단축했다. 연방 조사라면 OMB 승인 서류에 마이크로테스팅 응답 부담까지 미리 반영해 두어야 한다는 대목은 미국 특유의 사정이지만, 계획 단계에서 여지를 확보해 두라는 조언 자체는 어디서나 유효하다.

국내 실무에 옮기면 이 기법의 자리는 분명하다. 공공 조사든 민간 조사든 국내에서는 사전 인지면접 자체가 생략되는 경우가 많고, 하더라도 한 번에 몰아서 한다. 마이크로테스팅은 그 관행에 대한 현실적 타협안이 된다. 문제가 되는 문항 서너 개만, 해당 문항과 이해관계가 있는 응답자 예닐곱 명에게, 열흘 안에 확인하는 것이라면 별도 예산 항목 없이도 돌릴 수 있다. 특히 발주처와 문안을 두고 줄다리기가 벌어질 때, "여덟 명에게 물어본 결과"는 회의실의 직관 대결을 끝내는 가장 싼 증거다.

---

소개한 논문

Sinibaldi, J. (2026). MicroTesting: Focused Qualitative Testing to Complement a Large Redesign Effort. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0027 (오픈액세스)

 

패널에서 떨어져 나가는 사람은 누구인가: ANES 40년 데이터로 본 정치적 이탈 편향

패널조사 2차 웨이브를 완료한 사람과 중도 이탈한 사람이 정치적으로 다르다면, 그 패널로 정치 태도의 변화를 추적하는 작업 전체가 흔들린다. 특히 양극화 시대에는 자연스러운 걱정이 하나 붙는다. 정치가 갈등 그 자체가 된 환경에서는 온건한 사람일수록 정치 조사를 회피하고, 남는 표본은 점점 극단화된 사람들로 채워지는 것 아니냐는 것이다. 조지아 주립대의 Thornton과 Dejesus Lina가 Survey Practice에 발표한 이 논문은 그 걱정을 40년 치 데이터로 검증했다.

자료는 미국선거연구(ANES) 세 덩어리다. 1980년부터 2016년까지 선거 전·후 웨이브로 구성된 누적 파일, 그리고 선거 두 번을 가로지르는 2000~2004년 패널과 2016~2020년 패널이다. 종속변수는 2차 웨이브 완료 여부이고, 관심 변수는 두 계열로 나뉜다. 정치적 관여(선거 관심도, 투표 의향)와 정치적 극단성(정당일체감 강도, 이슈 태도 극단성, 양대 정당 감정온도계 차이로 잰 정서적 양극화)이다.

결과의 요지는 관여와 극단성이 다르게 움직인다는 것이다. 선거에 관심이 많고 투표할 생각이 있는 사람은 일관되게 2차 웨이브를 더 완료했고, 기권 의향자는 덜 완료했다. 여기까지는 주제 관심이 응답 참여를 끌어올린다는 기존 문헌 그대로다. 반면 극단성 쪽은 달랐다. 정당일체감 강도와 정서적 양극화는 완료 여부와 무관했고, 이슈 극단성은 오히려 완료와 음의 관계였다. 잔존 표본이 더 극단적인 사람들로 채워진다는 증거는 어디에도 없었다.

시간 변화를 본 분석이 이 논문의 백미다. 각 변수에 연도를 교차시켜 보니, 정치 변수와 이탈의 관계는 강해지기는커녕 일관되게 약해져 왔다. 1980년대에는 강한 정당일체자가 2차 웨이브를 유의하게 더 완료했지만 그 관계는 시간이 가며 소멸했다. 엘리트 양극화가 꾸준히 심해진 기간에 벌어진 일이라는 것이 의외의 대목이다. 4년 간격의 장기 패널 두 개를 비교해도 결론은 같아서, 극단성 변수들은 두 시기 모두 유의하지 않았고 유일하게 유의한 시기 간 차이는 이슈 극단성의 음의 관계가 사라진 것뿐이었다.

물론 이 결과가 "패널 데이터의 양극화 걱정은 끝"을 뜻하지는 않는다. 저자들이 명시하듯 이 분석은 1차 웨이브에 이미 참여한 사람들 사이의 이탈만 다룬다. 애초에 누가 1차 조사에 응하는가라는 더 앞 단계의 선택은 이 설계로 볼 수 없고, 정치 변수와 이탈의 관계가 약해진 것도 그 관계가 초기 참여 단계로 옮겨갔기 때문일 가능성을 저자들 스스로 열어둔다. 잔존 표본이 더 관여적인 사람들로 기운다는 사실 자체는 여전하므로, 참여율이나 관심도 추정치는 패널에서 계속 부풀 것이다.

그래도 실무적 함의는 값지다. 선거 전·후 패널이나 다년 패널로 태도 변화를 추적할 때, 이탈 때문에 양극화가 과대 추정될 것이라는 걱정은 적어도 미국 자료에서는 근거가 약하다. 걱정해야 할 것은 극단성이 아니라 관여 편향이다. 국내에서도 선거 전·후 추적조사나 정례 패널을 돌릴 때 이탈 분석을 이 논문의 틀대로 해볼 만하다. 1차 웨이브 변수로 2차 완료를 예측하는 로지스틱 모형 하나면 되는 분석이라 비용이 거의 들지 않고, 패널 데이터의 신뢰성을 발주처에 설명할 때 근거 자료가 된다.

---

소개한 논문

Thornton, J., & Dejesus Lina, S. (2026). The Politics of Survey Participation: Political Engagement, Polarization, and Panel Attrition 1980–2020. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0014 (오픈액세스)