느리게 답할수록 반올림이 줄었다: 문자 인터뷰 모드의 세 가지 속성
문자메시지를 조사에 쓰는 방식은 두 갈래다. 하나는 문자로 초대장을 보내고 응답은 웹 설문에서 받는 방식이고, 다른 하나는 문자 대화창 안에서 질문과 응답을 주고받는 문자 인터뷰다. 미시간대학의 Conrad 연구팀이 JSSAM에 발표한 이 논문은 후자, 즉 문자 인터뷰 모드를 전화(음성) 인터뷰와 정면 비교한 연구다. 흥미로운 점은 결과 나열에 그치지 않고, 문자라는 매체의 속성 세 가지로 그 결과들을 설명하는 이론틀을 세웠다는 것이다.
세 속성은 이렇다. 문자는 비동기적이다. 답장까지의 시간에 상한이 없어서 응답자가 필요한 만큼 생각하고 답할 수 있다. 문자는 지속된다. 말은 발화 순간 사라지지만 문자는 지우기 전까지 기기에 남아, 몇 시간 뒤에도 앞 메시지를 다시 읽고 답할 수 있다. 그리고 문자는 눈에 띈다. 알림과 미확인 표시가 "아직 답하지 않은 메시지가 있다"는 사실을 계속 상기시킨다. 전화벨은 20초 울리고 끝나지만 문자 초대장은 스스로가 독촉장 역할을 한다. 비동기성은 지속성과 인지성 위에서 성립한다. 메시지가 남아 있고 그 존재를 알고 있어야 나중에 답하는 것이 가능하기 때문이다.
데이터는 아이폰 사용자 634명을 네 모드에 무작위 배정한 실험에서 나왔다. 자동 문자(AT), 인간 면접원 문자(HT), 자동 음성(AV), 인간 전화면접(HV)이다. 같은 32개 문항을 물었고, 그중 9개가 수치 응답 문항이라 반올림 응답(0이나 5로 끝나는 값)이라는 만족화 지표를 모드 간 비교할 수 있었다. 원 실험(Schober et al. 2015)에서 문자 응답자가 만족화를 덜 하고 민감 정보를 더 공개한다는 결과는 이미 보고됐고, 이번 논문은 그 이유를 시간 데이터로 파고든 후속 분석이다.
결과를 순서대로 보자. 첫째, 인터뷰 시작률은 문자 65.3% 대 음성 49.5%로 문자가 확실히 높았다. 인간 면접원이 문자로 초대한 조합(HT)이 77.5%로 가장 높았는데, 응답자가 상대가 인간인지 기계인지를 어떤 수준에서든 감지하고 인간 쪽에 더 응한다는 뜻이다. 둘째, 개별 인터뷰는 문자가 길었다. 중위값 기준 HT 30분, AT 19분, AV 12분, HV 7.6분이다. 그런데 이 길이가 응답자의 장기 이탈 때문은 아니었다. 15분 이상의 긴 공백은 문자 응답의 1% 안팎에 불과했고, 대신 응답시간의 분산이 문자에서 훨씬 컸다. 쉬운 문항은 빨리, 어려운 문항은 천천히 답하는, 과제 난이도에 맞춘 시간 배분이 일어난 것이다.
이 논문의 백미는 셋째 결과다. 응답시간을 3분위로 나눠 반올림 응답률을 보면, 문자 인터뷰에서는 느리게 답할수록 반올림이 줄었다(AT 기준 빠름 51.7% → 느림 39.3%). 시간을 들인 만큼 기억을 실제로 헤아려 정확한 수를 냈다는 해석이다. 음성 인터뷰에서는 정반대로, 느리게 답할수록 반올림이 늘었다(HV 기준 51.1% → 57.2%). 즉답이 가능한 응답자는 정확한 값을 빨리 말하지만, 바로 떠오르지 않는 응답자는 침묵의 압박 속에서 헤아리기를 포기하고 어림수를 던진다는 것이다. 같은 "느린 응답"이 문자에서는 품질의 신호이고 음성에서는 만족화의 전조라는, 응답시간 해석의 모드 의존성을 이만큼 깔끔하게 보여준 분석은 드물다.
넷째 결과는 실무자에게 가장 반가운 역설이다. 개별 인터뷰는 문자가 더 긴데, 필드 전체는 문자가 훨씬 빨리 끝났다. AT는 6일, HT는 11일 만에 목표를 채웠고 음성 두 모드는 16일이 걸렸다. AT는 첫날에 93%가 완료됐고 그중 75%는 초대 후 한 시간 안에 끝났다. 수수께끼의 답은 리크루팅 시간에 있다. 완료 응답자 기준 중위 리크루팅 시간이 AT 9분, HT 38분인 반면 AV는 4시간, HV는 20시간이었다. 문자 초대는 사실상 불접촉이 없고, 지속성과 인지성 덕에 재접촉 없이도 응답자가 스스로 돌아온다. 전화는 통화가 성사될 때까지 하루 이상 간격의 재시도가 쌓인다. 인터뷰 7.6분짜리 HV의 리크루팅이 20시간이니, 필드 속도는 인터뷰 길이가 아니라 리크루팅이 결정한다는 것이다. 저자들은 이 속도가 CNN 등이 대선 토론이나 국정연설 직후의 즉석 여론측정에 문자 인터뷰를 쓰는 이유라고 연결한다.
한계는 저자들도 길게 적었다. 데이터가 2012년 수집분이라 분석까지 10년 이상 묵었고, 편의표본이며, 사전에 조사 참여에 동의한 사람들에게 보낸 초대라 시작률이 콜드 초대보다 높게 나왔을 것이다. 다만 문자의 세 속성 자체는 그때나 지금이나 같으므로 기제에 대한 결론은 유지된다는 것이 저자들의 방어인데, 수긍할 만하다.
국내 실무의 관점에서는 이 논문을 읽을 때 모드 구분을 정확히 해두는 것이 중요하다. 이 논문의 문자 인터뷰는 문자 대화창 안에서 문항을 하나씩 주고받는 방식으로, 문자를 초대장으로만 쓰고 응답은 모바일 웹 설문에서 받는 방식과는 측정 환경이 다르다. 국내에서 통신사 마케팅 수신동의 가입자에게 SMS를 발송해 모바일 웹조사로 연결하는 방식은 후자에 속한다. 그래서 이 논문의 발견 중 리크루팅 관련 결과, 즉 문자 초대의 지속성과 인지성이 만드는 빠른 필드는 SMS 발송 기반 웹조사에도 그대로 적용되는 반면, 대화창 내 문답이라는 인터뷰 방식 자체의 효과는 별개 검증이 필요하다. 모바일 웹 설문도 응답자가 자기 속도로 진행하는 비동기적 환경이므로 반올림 감소 기제는 상당 부분 공유할 것으로 기대되지만, 한 문항씩 문자로 받는 것과 화면을 스크롤하며 답하는 것의 차이는 이 논문 바깥의 질문이다. 문항 수 상한에 대한 참고치도 하나 있다. 인용된 실험에 따르면 39문항까지는 문자 인터뷰의 완료율이 문자-웹 방식보다 높았고 그 이상에서 역전됐다.
마지막으로 자동 문자 인터뷰라는 형태 자체가 눈여겨볼 대상이다. 사전 스크립트 기반의 단순한 시스템으로도 첫날 93% 완료라는 속도가 나왔는데, LLM이 응답 확인과 재질문까지 처리하는 요즘의 대화형 에이전트를 얹으면 어떻게 될지는 자연스러운 다음 질문이다. 토론회 직후, 재난 직후처럼 측정 시점이 곧 데이터 가치인 조사에서, 자동 문자 인터뷰는 국내에서도 시도해 볼 여지가 있는 설계다.
소개한 논문
Conrad, F. G., Hupp, A. L., Antoun, C., Yan, H. Y., Schober, M. F., & Harrison, M. (2026). Text Messaging as a Survey Interviewing Mode: A Deeper Look. Journal of Survey Statistics and Methodology. https://doi.org/10.1093/jssam/smaf039
분석 데이터는 Open ICPSR에 공개되어 있다(https://doi.org/10.3886/E100113V2).
댓글 없음:
댓글 쓰기