2026년 7월 9일 목요일

전화 응답자에게 그림을 보여주는 방법: 아스펜시 조사의 우편엽서 실험

 

전화 응답자에게 그림을 보여주는 방법: 아스펜시 조사의 우편엽서 실험

전화조사의 오랜 제약 하나는 응답자에게 아무것도 보여줄 수 없다는 것이다. 교량 설계안처럼 공간적이고 기술적인 대상을 말로만 설명하면 인지 부담이 커지고 측정오차가 생긴다. 웹조사와 우편조사는 시각자료를 쓸 수 있으니, 혼합모드 설계에서는 모드 간 정보 환경 자체가 달라지는 문제가 겹친다. Claremont 대학원의 Adam Probolsky가 Survey Practice에 발표한 이 연구노트는 이 제약을 우편엽서로 우회한 사례 보고다.

무대는 콜로라도주 아스펜시의 2024년 지역사회 조사다. 조사 주제는 Castle Creek 교량 교체안 네 가지에 대한 주민 선호였다. 조사 시작 전에 모든 등록 유권자 개인에게 회랑 지도와 교량 대안 조감도, 조사 URL, QR코드, 수신자부담 전화번호가 인쇄된 엽서를 발송했다. 전화 인터뷰를 시작할 때는 응답자에게 엽서가 수중에 있는지 묻고, 없으면 같은 시각자료가 올라 있는 공개 웹페이지로 안내했다. 인터뷰 중에는 표준화된 안내문으로 해당 문항에서 시각자료를 참조하도록 유도했다. 웹 응답자든 전화 응답자든 같은 그림을 보며 답하게 만든 것이다.

결과에서 눈여겨볼 것은 교량 선호의 순위 구조다. 전화(29명)와 웹(271명) 표본은 인구 구성이 상당히 달랐는데도, 네 가지 대안의 1순위 선호 순위가 두 모드에서 완전히 일치했고 선택 비율의 평균 절대 차이는 3.4%p였다. 저자는 공통의 시각적 준거가 응답을 정박시킨 결과일 수 있다고 해석한다. 부수적 발견도 흥미로운데, 전화 표본이 웹 표본보다 젊고 인종적으로 다양했다. 전화조사 응답자는 고령층이라는 통념과 반대 방향이다.

이 연구는 스스로 한계를 명확히 밝히는 보고서다. 전화 표본이 29명에 불과해 통계적 비교가 불가능하고, 시각자료 없는 통제집단이 없어 인과 효과를 말할 수 없으며, 응답자가 실제로 그림을 봤는지 검증할 방법도 없다. 저자가 조사 수행사 대표 본인이라는 이해관계 고지도 붙어 있다. 그래서 이 글은 결과 논문이 아니라 실행 가능성 보고로 읽어야 하고, 저자도 그렇게 규정한다.

그런데도 이 사례를 소개하는 이유는 설계 발상 때문이다. 시각자료 문제를 조사 도구 안에서 풀지 않고, 접촉 단계의 우편물이라는 별도 채널로 푼 것이다. 전 유권자 명부에 개인 단위로 발송해 커버리지를 확보하고, 엽서가 없는 응답자를 위한 웹 대체 경로까지 이중으로 깔았다. 국내 실무로 옮겨 보면 응용 범위가 제법 있다. 모바일 웹조사는 시각자료 제시가 원래 자유로우니 이 논문의 문제의식이 직접 걸리지는 않지만, 지자체 조사에서 도시계획안이나 시설 배치도처럼 화면 하나에 담기 어려운 자료를 다룰 때 사전 우편물과 조사 화면을 결합하는 설계, 혹은 ARS나 전화면접이 불가피한 조사에서 안내물을 먼저 보내는 설계의 참고 사례가 된다. 고령층 대상 조사에서 종이 자료를 먼저 보내고 전화로 응답을 받는 조합도 같은 계열의 설계다.

다음 단계는 명확하다. 시각자료 유무를 무작위 배정한 실험 설계, 그리고 응답자가 자료를 실제 참조했는지 확인하는 검증 문항이다. 이 노트는 그 실험을 해볼 가치가 있다는 것까지를 보여준다.


소개한 논문

Probolsky, A. (2026). Visual Integration in Multimodal Surveys: A Case Study. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0022 (오픈액세스)

댓글 없음:

댓글 쓰기

조사 모드 차원 분해표

조사 모드 차원 분해표 1. 문제의식 " 문자 인터뷰는 웹조사인가 ", " 이메일에 파일을 첨부해 회수하는 조사는 무슨 모드인가 " 같은 질문은 답이 없는 것이 아니라 질문의 형식이 잘못된 것이다 . 모드를 ...