우편조사에서 챗봇까지, 조사 모드는 정말 바뀌고 있나

 

웨비나 정리

우편조사에서 챗봇까지,

조사 모드는 정말 바뀌고 있나

크리스틴 올슨 교수의 ESS 웨비나에서 본 모드·데이터·비용의 변화

원제 From Mail Surveys to Chatbots: Changes in Survey Modes, Methods, and Data Sources Over Time

주최 City St George's(런던대)·NatCen·유럽사회조사(ESS)  |  강연 Kristen Olson(네브래스카-링컨대)  |  2026년 10월

조사 모드가 전화에서 웹으로 넘어가고 있다는 말은 이제 업계 누구나 한다. 행정데이터가 조사를 대체할 거라는 말, AI가 조사 비용을 크게 줄일 거라는 말도 자주 듣는다. 그런데 이런 말에 데이터를 붙여 확인해 본 경우는 드물다.

네브래스카-링컨대 사회학과 크리스틴 올슨(Kristen Olson) 교수가 이번 웨비나에서 한 일이 바로 그 확인 작업이다. 올슨은 혼합모드 조사, 조사 비용, 설문 설계, 면접원 효과를 연구해 왔고 대학 부설 조사기관인 사회학연구소(Bureau of Sociological Research, BOSR) 소장을 맡고 있다. 2019년 미국여론조사학회(AAPOR)의 ‘전화조사에서 자기기입식·혼합모드 조사로의 전환’ 태스크포스를 이끈 사람이기도 하다. 같은 제목으로 2025년 7월 위트레흐트에서 열린 유럽조사연구학회(ESRA) 기조강연을 했고, 이번 웨비나는 그 강연을 다듬어 다시 들려준 자리로 보인다. 사회는 City St George's의 에릭 해리슨(Eric Harrison)이 맡았다.

올슨은 자기소개를 하며 미국 지도를 띄웠다. 기술 기업은 서부 해안에, 공식통계 기관은 동부 해안에 몰려 있고 네브래스카는 그 한가운데 있다. 조사연구자의 처지도 그렇다는 것이다. 기술 변화에 적응하고 대응하면서도 사람, 기업, 농가에 관한 공식통계가 요구하는 품질은 지켜야 한다. 이어서 자신은 경험주의자라며 ‘느낌’ 말고 데이터로 변화를 보여 주겠다고 했다.

강연은 세 질문으로 짜였다. 조사 모드와 데이터 소스, 추론 방법이 실제로 바뀌고 있다는 증거가 있는가. 응답자는 모드 변화에 어떻게 반응하는가. 이것이 조사 비용과 조사 설계자·연구자에게 무엇을 뜻하는가.

이 글의 요약

•     미국 연방조사와 방법론 저널 논문 약 1,100편 모두에서 전화가 줄고 웹이 늘었다. 행정데이터와 빅데이터 활용은 말만큼 늘지 않았다.

•     응답자의 우편 선호는 줄고 모바일 웹 선호가 늘었다. 다만 어떤 모드를 어떤 순서로 제시했는지가 선호 응답 자체를 바꾼다.

•     선호 모드는 좋아서 고른 모드라기보다 제시된 것 가운데 가장 덜 싫은 모드일 수 있다.

•     웹을 섞어 인쇄비와 우편료를 줄여도 총예산은 거의 그대로였다. 돈이 인센티브와 사람 시간으로 옮겨 갔다.

•     웹패널 응답자의 스마트폰 선호는 일반 표본보다 훨씬 높았다. 패널로 일반 국민을 추론하는 데 한계가 있다는 뜻이다.

미국 연방조사의 모드가 먼저 바뀌었다

첫 번째 증거는 미국 연방조사 세 개다. 셋 다 매번 새 확률표본을 뽑고, 어떤 모드로 응답을 받았는지 파라데이터를 공개한다. 국민건강면접조사(NHIS)와 인구현황조사(CPS, 미국의 노동력조사)는 원래 방문면접 조사이고, 방문이 어려우면 일부를 전화로 받는다. 미국지역사회조사(ACS)는 센서스 장기 설문을 대신하는 조사로, 웹과 우편으로 시작하고 끝까지 응답하지 않은 가구만 전화와 방문면접으로 추적한다.

2000년대 초부터 2019년까지는 큰 변화가 없었다. NHIS와 CPS의 전화 비중이 조금씩 올랐지만 안정적인 편이었고, ACS는 응답의 절반가량을 전화·방문 추적으로 받았다.

2020년 코로나19가 이 구도를 바꿨다. 방문면접 조사인 NHIS는 성인 인터뷰의 약 80%를, CPS는 표본 첫 달 인터뷰의 약 50%를 전화로 받았다. 전화 비중은 그 뒤 다소 내려왔지만 NHIS는 지금도 전화 인터뷰가 방문 인터뷰보다 많고, CPS 첫 달 인터뷰도 약 40%가 전화다. 자기기입식인 ACS는 반대로 더 자기기입식이 됐다. 면접원이 받은 응답 비중이 팬데믹 전 약 40%에서 2024년 자료 기준 약 28%로 떨어졌다.

표 1

면접 조사는 전화로 기울고, 자기기입식 조사는 면접원 몫을 더 줄였다

미국 연방조사 3종의 응답 모드 변화

조사	원래 설계	팬데믹 전	2020년	최근
NHIS 국민건강면접조사	방문면접, 일부 전화	전화 비중 소폭 상승	성인 인터뷰 약 80%가 전화	전화가 방문보다 많음
CPS 인구현황조사	방문면접, 일부 전화(첫 달 인터뷰 기준)	전화 비중 소폭 상승	약 50%가 전화	약 40%가 전화
ACS 미국지역사회조사	웹·우편으로 시작, 무응답 가구는 전화·방문 추적	면접원 응답 약 40%	발표에서 언급 없음	면접원 응답 약 28%(2024년)

주: 수치는 발표에서 ‘약’으로 언급한 값. ACS의 2000년대 초 면접원 응답 비중은 절반가량.

자료: Olson(2026) 웨비나 발표

공식통계를 만드는 기관에서 이 정도 변화가 있었다면 방법론 연구에도 흔적이 남아 있어야 한다. 그게 올슨의 다음 질문이었다.

방법론 저널 1,100편을 손으로 코딩했다

두 번째 증거는 방법론 저널이다. 올슨은 제니 톰슨(Jenny Thompson)과 함께 JSSAM(Journal of Survey Statistics and Methodology) 편집위원장을 지냈고, 그때 생긴 문제의식으로 조사통계·방법론의 지식 기반이 어떻게 바뀌는지 보는 연구를 하고 있다. 이번 발표에는 JSSAM, Survey Practice, Survey Research Methods(SRM) 세 저널에 실린 논문 전부(편집자 서신과 정정 제외), 약 1,100편을 107개 항목으로 코딩한 결과가 나왔다. 코딩 틀을 만들 때는 대학 라이선스의 마이크로소프트 코파일럿 도움을 받았지만, 코딩 자체는 AI 없이 올슨이 직접 손으로 했다고 굳이 밝혔다. 한 논문이 여러 모드를 쓰면 모드마다 따로 코딩했고, 그래프의 선은 연도를 선형항으로 넣은 로지스틱 회귀 예측값이다.

모드부터 보자. 대면조사를 쓴 논문 비중은 거의 그대로였다(기울기가 0과 다르지 않음). 전화조사는 확실히 줄어, 저널 초기에는 논문의 절반가량이 어떤 식으로든 전화조사를 썼는데 2024년 무렵에는 4분의 1 이하로 내려왔다. 독자층도 논문 성격도 다른 세 저널에서 비슷하게 줄었다. 우편조사는 저널마다 달라서 JSSAM은 우편조사 논문이 늘었고 Survey Practice와 SRM은 줄거나 제자리였다. 가장 크게 바뀐 것은 웹조사다. 최근 몇 년은 논문의 절반 이상, 많게는 70%가 웹조사를 썼다.

모바일 웹이나 스마트폰 조사를 다룬 논문은 웹 전체보다 훨씬 적었다. 그래도 세 저널 모두에서 늘었고, 증가 속도가 그래프에서 선이 겹칠 만큼 비슷했다. 올슨은 이를 묶어, 면접원 모드(특히 전화)에서 자기기입식 모드(특히 웹)로 옮겨 가는 변화가 2019년 AAPOR 태스크포스 보고서 이후에도 계속되고 있다고 정리했다.

표본과 데이터 소스에서는 기대와 다른 결과가 나왔다. 비확률표본을 쓴 논문은 예상대로 모든 저널에서 늘었고 특히 Survey Practice에 많았다. 그런데 행정데이터는 늘지 않았다. 행정데이터가 조사를 대체할 거라는 이야기가 그렇게 많았는데도 이 저널들에서는 줄거나 변화가 없었다. 원래 비중이 워낙 낮기도 하다. 빅데이터나 오가닉 데이터를 쓴 논문은 거의 없었다. 올슨은 이 분야 사람들이 빅데이터 연구를 안 한다는 뜻이 아니라 이 세 저널에 실리지 않는다는 뜻이라고 선을 그었다. 꾸준히 늘어난 것은 파라데이터다. 통화 기록, 응답 시간, 면접원 관찰 기록 같은 자료를 쓰는 논문이 세 저널 모두에서 늘었다.

분석 방법도 복잡해졌다. 인과추론, 다층모형, 잠재변수모형, 머신러닝, 소지역 추정, 자료 결합·연계 모형을 한데 묶어 보면 이런 모형을 쓴 논문 비중이 늘었고, JSSAM과 Survey Practice에서 특히 많이 늘었다. 머신러닝만 떼어 보면 원래 비중은 아주 작았지만 최근에는 세 저널 모두 논문의 약 10%가 랜덤 포레스트나 자연어처리 같은 머신러닝 모형을 다뤘다. 다만 분석 대상이 2024년 논문까지라 ‘AI’라고 이름 붙은 방법을 쓴 논문은 한 편도 없었다. 생성형 AI가 조사 분야에 본격적으로 들어오기 직전에서 자료가 끝난 셈이다.

표 2

전화는 줄고 웹·비확률표본·파라데이터는 늘었다, 행정데이터는 제자리

방법론 저널 3종 게재 논문에 나타난 변화

구분	항목	변화	내용
수집 모드	대면	변화 없음	기울기가 0과 다르지 않음
	전화	감소	초기 절반가량, 최근 4분의 1 이하
	우편	저널마다 다름	JSSAM은 증가, Survey Practice·SRM은 감소 또는 제자리
	웹	증가	최근 절반 이상, 많게는 70%
	모바일 웹·스마트폰	증가	비중은 낮지만 세 저널의 증가 속도가 비슷함
표본·자료	비확률표본	증가	Survey Practice에서 특히 많음
	행정데이터	제자리 또는 감소	원래 비중이 낮음
	빅데이터·오가닉 데이터	거의 없음	세 저널에 실린 논문이 드묾
	파라데이터	증가	세 저널 모두
분석 방법	복합 모형	증가	JSSAM과 Survey Practice에서 특히 증가
	머신러닝	증가	최근 약 10%
	‘AI’ 명칭 방법	없음	2024년 게재분까지 0편

주: JSSAM, Survey Practice, Survey Research Methods 게재 논문 약 1,100편(편집자 서신·정정 제외)을 107개 항목으로 손 코딩. 2024년 게재분까지.

자료: Olson(2026) 웨비나 발표, 올슨·톰슨 진행 중 연구

혼합모드 실험의 설계도 바뀌었다

세 번째 증거는 올슨이 졸린 스마이스(Jolene Smyth), 팅 얀(Ting Yan), 리베카 메드웨이(Rebecca Medway)와 진행 중인 메타분석이다. 웹·우편 혼합모드 조건을 우편 단독, 웹 단독, 또는 다른 혼합모드 조건과 비교한 응답률 실험을 모았다. 2001~2023년에 나온 논문 82편, 연구 100개, 처치 조건 375개다. 발표에서는 이 가운데 좁은 질문 하나만 다뤘다. 실험에 쓰인 설계 유형이 해마다 어떻게 달라졌는가이다.

설계 유형은 다섯 가지다. 웹과 우편을 처음부터 함께 주는 동시(concurrent) 설계, 우편 단독, 웹 단독, 웹을 먼저 주고 무응답자에게 우편 설문을 보내는 웹→우편 순차 설계, 그 반대인 우편→웹 순차 설계다.

인터넷이 막 퍼지던 2001~2003년의 실험은 거의 다 동시 설계를 우편 단독과 비교했다. 웹 단독이나 순차 설계와 비교한 실험은 드물었다. 2009년 무렵부터 순차 설계 실험이 크게 늘었다. 그해 딜먼·스마이스·크리스천의 『Internet, Mail, and Mixed-Mode Surveys』 3판이 나왔고, 유선전화 표집틀 문제가 커지던 때다.

2012년에 큰 전환이 있었다. 메드웨이와 제나 풀턴(Jenna Fulton)이 우편 단독과 동시 설계를 비교한 메타분석을 냈고, 우편조사에 웹 선택지를 동시에 붙이면 응답률이 떨어진다는 결과를 보였다. 그 뒤로 동시 설계 실험은 그래프에서 완전히 사라졌다. 연구자들은 웹을 먼저 주고 우편으로 추적하는 순차 설계에 거의 집중했다. 최근에는 다시 여러 조합을 시험하고, 특히 웹 단독 설계와 비교하는 실험이 늘었다.

올슨은 이것을 모드 변화의 세 번째 증거로 들었다. 어떤 모드를 쓰는지뿐 아니라 모드를 어떻게 섞는지도 달라졌다는 것이다. 메타분석 한 편이 이후 10년 동안의 실험 설계를 바꿔 놓았다는 점도 눈여겨볼 만하다.

응답자의 모드 선호는 어떻게 달라졌나

두 번째 질문은 응답자 쪽이다. 올슨은 모드 선호(mode preference)를 특정 모드로 조사에 참여하는 데 대한 잠재적 태도로 정의한다. 모드 선택(mode choice)과는 다르다. 모드 선택은 여러 모드를 제시했을 때 실제로 고른 모드다. 둘이 늘 일치하지 않는다는 점이 뒤에서 다시 나온다.

올슨과 스마이스는 19년 가까이 같은 계열의 선호 문항을 물어 왔다. 첫 자료는 돈 딜먼(Don Dillman)이 스마이스 등 당시 제자들과 한 2007년 루이스턴-클락스턴 조사로, 보기가 우편, 인터넷, 전화뿐이었다. 2008년 네브래스카 연례 사회지표조사(NASIS)는 당시 전화조사였는데, 보기에 방문면접을 더하고 휴대전화가 막 퍼지던 때라 집 전화와 휴대전화를 나눴다. 최근에는 같은 질문을 네 번 더 물었다. 두 번은 주소 기반 확률표본으로 뽑은 네브래스카 주민 대상 혼합모드 조사(NASIS)에서, 두 번은 웹패널에서다. 그때마다 보기를 늘려 컴퓨터와 스마트폰·태블릿을 나눴고, 2024년과 2025년 조사에는 영상 인터뷰를 넣었다.

단서가 하나 있다. 이 조사들은 대부분 웹·우편으로 진행돼 면접원 모드를 선호한다는 응답이 거의 나오지 않는다. 2024년 NASIS에서 영상 인터뷰를 선호한 사람은 8명이었고, 이는 방문면접이나 전화를 선호한 사람의 절반이었다. 모집단에 면접원 모드 선호층이 없어서가 아니라 그런 사람이 웹·우편 조사에 잘 응답하지 않기 때문이다. 무응답과 측정이 함께 작용한 결과다.

이 단서를 달고 비슷한 설계의 조사 세 개를 비교하면 면접원 모드 선호는 꾸준히 약 2%였다. 컴퓨터 웹 선호도 해마다 약 3분의 1로 거의 같았다. 크게 바뀐 것은 우편이다. 2007년 루이스턴-클락스턴 조사에서는 약 3분의 2가 우편을 선호했는데 2022년과 2024년에는 절반이 안 됐다. 줄어든 몫은 모바일 웹 선호로 옮겨 갔고, 최근 조사에서는 응답자의 약 절반이 어떤 형태로든 웹을 선호했다.

선호는 제시된 모드를 따라 움직인다. 2008년처럼 전화로만 조사하면 전화를, 웹패널처럼 웹으로만 조사하면 웹을 선호한다는 응답이 많다. 웹패널 응답자는 주소 기반 일반 표본 응답자보다 스마트폰 선호가 훨씬 높았다. 베라사이트(Verasight) 웹패널에서는 13%가 면접원 모드를 선호했는데, 그중 약 6.5%포인트가 영상 인터뷰였다.

제시 순서도 영향을 준다. 2024년 조사에서 웹을 먼저 주고 우편으로 추적한 순차 설계 응답자는 웹과 우편을 동시에 준 응답자보다 컴퓨터 웹과 모바일 웹 선호가 모두 높았다. 웹으로 응답한 사람 비율과 관련이 있겠지만, 선호 모드와 실제 응답 모드가 일대일로 맞아떨어지지는 않았다.

선호 이유 1,700건을 읽어 보니

올슨은 모드 선호에 영향을 주는 요인을 셋으로 나눠 왔다. 어느 모드에나 정도 차이로 나타나는 특성(mode agnostic), 특정 모드에만 있거나 없는 특성(mode specific), 응답자 자신의 특성이다. 이를 더 자세히 보려고 2024년 NASIS(웹·우편)에서 선호 문항 바로 뒤에 개방형 질문을 붙였다. “앞 질문에 왜 그렇게 답하셨는지, 즉 앞으로 조사에 응할 때 왜 그 방법을 선호하시는지 알려 주십시오.” 응답 약 1,700건을 올슨이 역시 AI 없이 직접 코딩했고, 한 응답이 여러 범주에 들어갈 수 있게 했다.

코딩해 보니 기존 구분에 더해 조사에 참여할지 정하는 일(무응답 쪽)과 질문에 답하는 일(측정 쪽)을 나눠 볼 수 있었다. 올슨은 이 구분이 모드 선호 이론에 새로 보탤 만한 부분이라고 했다.

먼저 말하는 방식이다. 약 10%는 ‘선호한다’, ‘좋아한다’는 말을 그대로 썼는데, ‘종이와 연필이 좋다’처럼 한 모드만 놓고 말한 경우는 면접원·우편 선호층에, ‘휴대폰으로도 되지만 컴퓨터가 낫다’처럼 다른 모드와 견준 경우는 컴퓨터·모바일 웹 선호층에 많았다. 견주는 대상도 달라서 우편 선호층은 종이를 웹 전반과, 컴퓨터 선호층은 스마트폰이나 사람과의 대화와 비교했다. 모바일 선호층은 사람이나 종이와는 비교했지만 컴퓨터와는 비교하지 않았다.

참여 결정과 관련된 이유로는 쉬움과 편리함이 가장 많았고 주로 웹 선호층에서 나왔다. ‘쉬워서’를 든 비율은 컴퓨터 웹 선호층이 약 38%로 가장 높았고, 모바일 웹 선호층이 약 35%, 우편 선호층이 약 15%로 가장 낮았다. ‘편리해서’는 이보다 훨씬 적어서 우편 선호층에서는 약 6%였다. 편안함(comfort)을 말한 응답은 아주 드물었고, 그나마 모드에 익숙하다는 뜻이 아니라 집에서 방해받지 않고 편히 앉아 할 수 있다는 몸의 편안함이었다.

방법론자들이 많이 걱정하는 신뢰와 정당성은 응답자가 먼저 떠올리는 이유가 아니었다. 사생활과 비밀보장을 말한 응답은 주로 우편 선호층에서 나왔고, 조사가 믿을 만한가 하는 정당성 이야기도 마찬가지였다. 이런 이유가 모드 선택에 작용한다면 우편 선호층에서 그렇다는 뜻이다.

측정과 관련된 이유도 있었다. 가장 많은 것은 응답 과정을 내가 쥐고 있다는 통제감이다. 우편 선호층은 내 시간에, 내 속도로 할 수 있어서 우편이 좋다고 했다. 기존 문헌은 이런 장점을 모바일 조사의 특징으로 설명하는데, 실제로 그렇게 말한 사람은 우편과 컴퓨터 선호층이었다. 우편 선호층은 빨리 끝낼 수 있어서 좋다고 하지는 않았다. 속도가 아니라 통제가 이유였다.

인지적 노력에 관한 이유도 흥미롭다. 면접원·우편·컴퓨터 선호층에서는 10%대가 질문과 답을 차분히 생각할 수 있어서 그 모드가 좋다고 했다. 방식은 달랐다. 면접원 선호층은 모르는 걸 물어보고 내 답을 설명할 수 있어서, 우편·컴퓨터 선호층은 질문을 직접 읽고 곱씹을 수 있어서였다. 컴퓨터 웹, 특히 모바일 웹 선호층은 생각할 여유를 이유로 든 경우가 거의 없었다. 생각할 시간을 말한 우편 선호층은 자기 사고력을 낮춰 말하는 경우가 많았다. ‘이제는 예전만큼 생각이 빠르지 않다’는 식이다. 흔히 모드 선호를 참여 결정의 문제로만 보는데, 응답자는 답하는 과정까지 함께 떠올리고 있었다.

특정 모드에 대한 언급은 예상대로 갈렸다. 우편 선호층은 ‘컴퓨터가 싫다’, ‘인터넷 조사가 싫다’, ‘인터넷 사정이 나쁘다’처럼 싫은 것을 말했고, 컴퓨터 선호층은 온라인으로 일하는 게 좋다며 스마트폰보다 컴퓨터가 낫다고 했다. 모바일 선호층은 컴퓨터나 인터넷 이야기를 거의 하지 않았다. 종이와 우편에 대해서는 우편 선호층이 ‘종이가 읽기 편하다’, ‘기술보다 종이가 낫다’고 했고, 웹 선호층은 종이를 아끼고 싶다거나 ‘우표 붙여 부칠 필요가 없다’, ‘종이로 해도 되지만 우체통까지 걸어가기 싫다’고 했다.

사람에 관한 언급은 여러 선호층에서 나왔는데, 면접원 선호층 가운데는 ‘사람에게 일자리를 주고 모든 걸 자동화하지 말자’며 면접원 고용을 지지하는 응답도 있었다. 응답자 자신에 관한 언급은 매우 드물었다. 올슨이 가장 흥미롭게 본 것은 ‘나는 옛날 사람’이라는 정체성 언급으로, 우편 선호층에서만 나왔다. 환경을 생각한다거나 지역사회에 보탬이 되고 싶다는 언급은 거의 없었다. 올슨은 안내문에 이런 호소를 넣어도 응답자에게 잘 와닿지 않을 수 있다고 했다.

표 3

웹 선호층은 쉬움을, 우편 선호층은 통제감과 생각할 시간을 말했다

모드 선호 이유와 주로 언급한 선호층

구분	이유	주로 언급한 선호층	내용
참여 결정	쉬움	컴퓨터 웹, 모바일 웹	컴퓨터 웹 약 38%로 가장 높고 우편 약 15%로 가장 낮음
	편리함	웹 선호층	쉬움보다 훨씬 적음, 우편 선호층 약 6%
	편안함	거의 없음	모드에 대한 익숙함이 아니라 몸의 편안함
	사생활·비밀보장, 정당성	우편	전체적으로는 드묾
응답 과정	통제감	우편, 컴퓨터 웹	내 시간에 내 속도로, 빨리 끝내려는 것은 아님
	차분히 생각하기	면접원, 우편, 컴퓨터 웹	면접원은 되묻기, 우편·컴퓨터는 읽고 곱씹기, 모바일은 거의 언급 없음
모드 고유	컴퓨터·인터넷	우편(부정), 컴퓨터 웹(긍정)	모바일 선호층은 거의 언급하지 않음
	종이·우편	우편(긍정), 웹(부정)	웹 선호층은 우표, 우체통까지 가는 수고를 말함
	사람	여러 선호층	면접원 선호층 일부는 면접원 일자리를 지지
응답자 자신	정체성·가치관	우편	‘옛날 사람’ 언급은 우편 선호층에서만, 환경·지역사회 기여는 거의 없음

주: 2024년 NASIS 개방형 응답 약 1,700건 손 코딩, 복수 코딩. 비율은 발표에서 ‘약’으로 언급한 값.

자료: Olson(2026) 웨비나 발표

선호 모드는 ‘가장 덜 싫은 모드’일 수 있다

올슨과 스마이스는 이 결과로 모드 선호 이론 모형을 고쳤다(논문 심사 중). 모드 선호는 한 방향으로 줄 세울 수 있는 태도가 아니다. 응답자는 선호하는 모드를 선호하지 않는 모드와 견줘서 말한다. 그래서 선호 모드는 두 사람이 2012년 논문에서 가정했던 것처럼 긍정적으로 평가받는 모드라기보다, 제시된 선택지 가운데 가장 덜 싫은 모드일 수 있다. 특정 모드에 대한 비선호(dispreference)를 따로 봐야 한다는 뜻이다.

“

선호하는 모드는 좋게 보는 모드가 아니라,
주어진 선택지 가운데 가장 덜 거슬리는 모드일 수 있다.

크리스틴 올슨, 웨비나 발표 중

모드 선호를 만드는 것은 그 모드로 참여할지에 대한 판단, 그 모드로 질문에 잘 답할 수 있을지에 대한 예상, 그 모드가 나의 정체성·가치관과 맞는지다. 올슨의 표현을 빌리면 모드 선호는 응답자가 응답자로서 어떻게 일하고 싶은지를 반영한다. 조사자는 어떤 모드가 쉽고 편하고 응답자에게 통제권을 준다고 생각하지만 응답자는 그렇게 보지 않을 수 있다.

그래서 올슨은 선호에 영향을 주는 각 특성을 두 기준으로 나눠 보자고 제안한다. 참여 결정에 관한 것인지 응답 과정에 관한 것인지, 그리고 선호를 만드는 것인지 비선호를 만드는 것인지. 이렇게 나누면 네 칸이 생기고, 칸마다 따로 측정할 문항을 새로 만들어야 한다. 모드 선호 문항을 조사에 넣어 본 사람이라면 한 번쯤 생각해 볼 이야기다.

비용은 생각만큼 줄지 않았다

세 번째 질문은 비용이다. 올슨의 결론부터 말하면, 값싼 모드를 섞으면 완료 1건당 비용은 내려갈 수 있어도 총예산은 그대로일 수 있고, 조사 비용에 대해 우리가 모르는 게 아직 많다는 것이다.

BOSR와 위스콘신대 조사센터(UWSC)는 회계 시스템에서 실제 비용 자료를 뽑았다. 추정치나 비용 모형이 아니라 실제 집행액이다. 대상은 팬데믹 이전에 한 조사로, 우편 단독 조사와 웹→우편 순차 조사를 비교했다. 같은 조건에서 비교하려고 웹→우편 조사는 이메일을 쓰더라도 우편 접촉이 최소 한 번은 있어야 했다. 이 기준에 맞는 조사가 36개였다. 금전 비용과 함께 직원 투입 시간도 모았지만 발표에서는 금액만 보였다.

표본 크기에 따라 총액이 달라지므로 두 가지로 표준화했다. 표본 1건당 비용은 총예산이 얼마일지를 보여 주고, 완료 1건당 비용은 응답 수율을 반영한다. 완료 1건당 비용은 응답을 늘리려고 쓴 여러 설계 장치의 영향을 받기 때문에 표본 1건당 비용과 다른 이야기를 할 수 있다.

결과는 이랬다. 표본 1건당 비용, 곧 총예산은 두 설계가 거의 같았고 웹이 섞인 쪽이 약간 높았다. 내역은 달랐다. 웹이 섞인 조사는 인쇄비와 우편료가 적었지만 그만큼을 인센티브에 썼다. 혼합모드를 처음 도입하던 때 응답률이 떨어질 것을 걱정해 인센티브를 늘린 것이다. 대부분 사람 비용인 기타 비용(프로젝트 인력, 자료 입력 인력)도 혼합모드 쪽이 많았다. 인센티브로 완료 수가 늘어난 덕분에 완료 1건당 비용은 웹이 섞인 조사가 더 낮았다. 두 설계 모두 인쇄비와 우편료는 총예산의 절반이 안 됐다. 웹을 섞어 인쇄·우편료를 줄여도 전체 예산에서 줄어드는 몫은 크지 않다는 뜻이다.

표 4

인쇄·우편료가 줄어든 만큼 인센티브와 인력 비용이 늘었다

우편 단독 조사와 웹→우편 순차 조사의 비용 비교

항목	우편 단독	웹→우편 순차
표본 1건당 비용(총예산)	비슷함	비슷하거나 약간 높음
인쇄비·우편료	많음	적음
인센티브	적음	많음
기타 비용(주로 인력)	적음	많음
완료 수	적음	많음
완료 1건당 비용	높음	낮음

주: BOSR와 UWSC가 팬데믹 이전에 수행한 조사 36개의 회계 자료. 두 설계 모두 인쇄비·우편료는 총예산의 절반 미만.

자료: Olson(2026) 웨비나 발표

비용 연구 자체가 부족하다는 지적도 이어졌다. 앞의 세 저널에 Survey Methodology까지 더해 네 저널을 보니 비용을 다룬 논문이 약 10%뿐이었다. 비용이 중요하다는 말은 많이 하면서 데이터는 거의 내놓지 않는다는 것이다. 비용을 다룬 153편 가운데 금액으로 보고한 것은 46%, 비금전 대리지표로 보고한 것은 약 절반이었고(둘 다 쓴 논문 20%), 4분의 1은 무엇으로 비용을 쟀는지조차 밝히지 않았다.

대리지표는 아홉 가지뿐이었다. 가장 흔한 것은 통화·접촉 시도 횟수, 다음은 면접원 투입 시간이었고, 그다음은 ‘더 싼 것으로 가정한 모드’로 응답한 비율이었다. 그 모드가 실제로 더 싼지는 검증하지 않은 채로다.

올슨은 새로운 종류의 비용도 따져 봐야 한다고 했다. 올해 2월 조사비용 워크숍에서는 미국 정부의 경우 행정데이터를 들여오는 단가는 낮지만 이를 처리·정제·연계해 쓸 수 있게 만드는 비용은 얼마인지 모른다는 이야기가 나왔다. 행정데이터 활용이 일상화된 기관은 반대로 처리 비용은 낮고 확보 비용이 높다. 기관마다 비용 구조가 다르니, 고정비·변동비·인프라 비용(CATI 실, 웹조사 소프트웨어 라이선스)이라는 익숙한 구분 말고 새로운 전문 지식에 드는 비용 같은 범주가 필요할 수 있다.

AI, 그리고 설문 설계라는 빈칸

비용 이야기를 하면 AI가 빠질 수 없다. 대학 본부와 연구비 지원기관은 AI를 더 적은 돈으로 더 많은 일을 하는 수단으로 밀고 있다. 올슨은 이것이 검증해야 할 실증 문제라고 했다. 클라우드 생성형 AI는 모델과 요금 구조가 너무 빨리 바뀌어서 본인에게도, 아마 이 분야 전체에도 아직 데이터가 없다는 것이다.

올슨이 관심을 두는 것은 응답자가 AI를 어떻게 받아들이는가다. 기존 모드 연구를 AI가 들어간 조사에 적용하려 하고, 지금 현장에 나가 있는 조사에 전화나 웹에서 AI 면접원을 선호하는지 묻는 문항을 넣었다. 본인도 이 문항이 마음에 드는지 모르겠지만 첫 시도이고 마지막도 아닐 거라고 했다. 또 하나는 고지다. AI 기반 설문이나 AI 면접원 조사에 참여할지 정할 때 응답자에게 무엇을 알려야 하는지, 응답자가 그것을 어떻게 느끼는지, 그 경험이 앞서 본 쉬움, 편리함, 정당성, 신뢰 인식을 어떻게 바꾸는지를 봐야 한다는 것이다.

마무리에서 올슨은 분야 전체에 질문을 던졌다. 우리가 새 방법과 새 데이터 소스에 끌리는 이유는 오차보다 비용을 앞세우게 됐기 때문인가, 오차가 감수할 만큼 작아졌기 때문인가, 모형과 컴퓨팅이 좋아져 그럭저럭 괜찮은 통계를 만들 수 있게 됐기 때문인가. 오차와 비용을 어떻게 맞바꾸고 있는지는 실증으로 확인할 문제이고, 어쩌면 우리는 자료수집 과정보다 최종 산출물의 품질로 관심을 옮기고 있는지도 모른다. 최종 추정치에만 관심을 둔다면 총조사오차(TSE) 틀의 각 단계에서 얼마나 벗어나도 괜찮은지 물어야 한다. 이날 발표는 TSE 도식 가운데 대표성(representation) 쪽에 집중된 것이었다.

올슨은 측정 쪽 이야기로 넘어가며 JSSAM 편집위원장 시절의 경험을 꺼냈다. 설문 설계 논문이 별로 들어오지 않는다고 느꼈는데 코딩해 보니 실제로 그랬다. 조사연구는 결국 사람에게 질문하는 일이다. 새 데이터 소스가 들어올수록 어떤 질문 특성이 모드와 데이터 소스에 민감하고 어떤 것은 그렇지 않은지 알아야 한다. 전통적인 혼합모드 조사에서도 어떤 질문을 모드 사이에서 그대로 옮겨 써도 되는지 분명하지 않다. 그런데 모드 간 차이가 나면 우리는 그것을 측정 문제가 아니라 선택(누가 응답했나)의 문제로 돌리는 경향이 있다. 올슨은 이 주제의 새 연구를 내년 5월 AAPOR 학술대회에서 발표할 계획이라고 했다.

절망적인 분위기로 끝내고 싶지 않다며 올슨은 다음 세대 교육 이야기로 강연을 맺었다. 분야의 기초를 가르치고, 분야가 다양해진 만큼 다학제 교육을 신중하게 설계해야 한다. 그리고 같은 개념을 서로 다른 말로 부르는 분야들 사이에서 통역하는 능력, 컴퓨터과학자의 말을 사회과학자의 말로 옮기는 능력을 길러 주는 일이 어쩌면 가장 중요한 일일 수 있다고 했다.

질의응답

보기 순서를 무작위로 바꿔 봤나. 선호 문항에서 면접원 모드 보기가 늘 앞에 오는데 순서를 바꿔 본 적이 있느냐는 질문이었다. 올슨은 지금 현장에 있는 조사에서 ‘선호하는 방법 없음’ 보기를 새로 넣고 그 위치를 맨 앞이나 맨 뒤로 무작위 배치했고, 쉬움·편리함 같은 평가 문항의 순서도 무작위로 했지만 모드 보기 순서 자체는 바꾸지 않았다고 답했다. 초두효과가 있다면 앞에 있는 면접원 보기가 더 많이 선택돼야 하는데 그렇지 않았다. 훨씬 자주 보이는 것은 지금 응답하고 있는 모드를 고르는 경향이다. 순서를 바꾸면 그 경향이 조금 줄 수는 있겠지만 실험으로 확인하지는 않았다.

성별 차이가 있나. 올슨은 올해 초 영국왕립통계학회지 A(JRSSA)에 스마이스와 낸 모드 선호 예측요인 논문을 근거로, 예전에 있던 작은 성별 차이는 지금 거의 사라졌고 연령과 학력이 성별보다 훨씬 강하게 선호를 예측한다고 답했다.

대표성을 높이려면 어떤 모드를 넣어야 하나. ESS도 저학력층 문제로 고민하는 부분이라고 사회자가 덧붙였다. 올슨은 고령층과 저학력층이 젊은 층·고학력층만큼 웹을 좋아하지 않으므로 온라인이 아닌 모드를 넣는 것이 중요하다고 답했다. 표본이 작아 통계적 검정력은 약하지만 장애가 있는 사람은 면접원 모드를 선호하는 경향이 있었다. 장애 인구 비중이 높은 집단을 조사한다면 자기기입식 모드만으로는 부족하다는 뜻이다. 올슨은 웹 단독 조사가 이런 집단을 놓치는 이유가 인터넷 접근만이 아니라고 강조했다. 쉽지 않고, 편하지 않고, 믿음이 가지 않고, 정당해 보이지 않는 여러 이유가 함께 있다는 것이다.

모바일은 정점을 찍었나. 사회자 해리슨이 개인적으로 물었다. 저널 분석에서도, 선호 조사에서도 모바일 비중이 예상보다 낮은데, 5년 안에 절반이 휴대폰으로 응답할 거라던 오랜 전망과 달리 모바일이 정점을 찍은 것이냐는 질문이었다. 올슨은 스마트폰이나 모바일을 명시적으로 다룬 방법론 연구가 이 저널들에 드물었다는 점을 먼저 설명했다. 그리고 미국 웹패널인 입소스 패널과 베라사이트 패널에서는 약 50%가 스마트폰을 선호했지만, 주소 기반으로 새로 뽑은 일반 표본에서는 약 20%였다고 답했다. 올슨은 이 차이를 패널 응답자가 쌓은 경험과 연결 지으며, 적어도 미국에서는 웹패널로 일반 국민을 추론하는 데 한계가 있음을 보여 준다고 했다.

한국 조사에 대입해 보면

올슨의 자료는 미국 것이고, 미국은 주소 기반 표집과 우편이 웹조사를 받쳐 주는 나라다. 한국은 사정이 다르다. 일반 국민 대상 우편조사는 드물고, 웹조사로 사람을 불러오는 채널은 주로 문자다. 그래도 이 발표에서 한국 조사에 그대로 가져올 만한 이야기가 몇 가지 있다.

모드 선호 문항은 묻는 모드에 끌려간다. 웹조사 안에서 ‘앞으로 어떤 방식으로 조사에 응하고 싶은가’를 물으면 웹 선호가 높게 나올 수밖에 없다. 올슨 자료에서 응답자가 지금 응답 중인 모드를 고르는 경향은 보기 순서 효과보다 훨씬 강했다. 모드 전환이나 혼합모드 설계의 근거로 응답자 선호를 내세운다면, 그 결과가 한 모드로 응답한 사람에게만 물은 것인지부터 확인해야 한다.

패널 응답자는 일반 국민과 다르게 행동한다. 스마트폰 선호가 웹패널에서 약 50%, 일반 표본에서 약 20%로 갈린 결과는 패널 경험이 모드 선호까지 바꾼다는 뜻으로 읽힌다. 한국의 온라인 패널도 조사 응답 경험이 많은 사람들로 이뤄져 있다. 성·연령·지역 가중으로 인구 구성을 맞춰도 응답 습관과 태도의 차이는 남는다. 패널 조사 결과로 일반 국민을 말할 때 조심해야 할 이유가 하나 더 생긴 셈이다.

웹을 꺼리는 이유는 접근만이 아니다. 한국은 고령층 스마트폰 보유율이 높은 편이라 웹조사 커버리지 문제가 미국보다 작다고 보기 쉽다. 그러나 올슨의 응답자들이 말한 쉬움, 편리함, 신뢰, 통제감은 기기를 가졌다고 해결되지 않는다. 문자 속 링크를 누르는 일에 대한 경계가 큰 한국에서는 정당성과 신뢰 문제가 미국의 우편 선호층보다 더 넓게 퍼져 있을 수 있다. 고령층과 저학력층 추정이 중요한 조사라면 전화 같은 비온라인 모드를 함께 설계하는 편이 맞다.

연락 비용이 싸졌다고 총예산이 줄지는 않는다. 문자 발송은 우편보다 훨씬 싸 보이지만 응답률이 낮으면 완료 1건당 발송비가 커지고, 여기에 인센티브와 설계·검수·자료 처리 시간이 더해져야 실제 비용이 나온다. 올슨 자료처럼 한쪽 비용을 줄이면 다른 쪽으로 돈이 옮겨 가는 일은 한국 조사에서도 흔하다. 한국 조사 보고서와 논문은 비용을 밝히는 경우가 드물다. 표본 1건당 비용과 완료 1건당 비용을 나눠 기록하는 것부터 시작하면 모드 비교가 훨씬 정직해질 것이다.

모드 차이를 표본 구성 탓으로만 돌리지 말자. 한국에서도 ARS와 전화면접의 정당 지지율 차이를 응답자 구성 차이로 설명하는 경우가 많다. 같은 사람이 모드에 따라 다르게 답하는 측정 효과도 함께 봐야 한다. 올슨 말대로 어떤 문항을 모드 사이에서 그대로 옮겨 써도 되는지는 전통적인 혼합모드에서도 아직 분명하지 않다.

AI 면접원은 고지와 응답자 인식부터 봐야 한다. 한국에서도 AI 면접원을 쓴 전화조사가 시도되고 있다. 비용 절감만큼이나 응답자에게 무엇을 알리고 응답자가 그것을 어떻게 받아들이는지가 참여율과 응답의 질을 좌우할 수 있다. 올슨처럼 정기 조사에 AI 면접원 선호 문항을 넣어 반응을 쌓아 두는 일은 한국에서도 바로 해 볼 수 있다.

올슨 발표의 미덕은 다들 아는 이야기를 숫자로 확인했다는 데 있다. 전화가 줄고 웹이 늘었다는 이야기는 확인됐다. 행정데이터와 빅데이터가 조사를 대체한다는 이야기는 적어도 방법론 저널에서는 확인되지 않았다. 웹을 섞으면 싸진다는 이야기는 완료 1건당 비용에서만 맞았다. 한국 조사업계도 이런 이야기들을 데이터로 확인해 볼 때가 됐다.

참고 자료

Olson, K. (2026). From Mail Surveys to Chatbots: Changes in Survey Modes, Methods, and Data Sources Over Time. City St George's, University of London·NatCen·European Social Survey 웨비나, 2026년 10월.

Olson, K. (2025). From Mail Surveys to Chatbots: Changes in Survey Modes, Methods, and Data Sources Over Time. ESRA 2025 기조강연, 위트레흐트.

AAPOR Task Force on Transitions from Telephone Surveys to Self-Administered and Mixed-Mode Surveys (2019). Transitions from Telephone Surveys to Self-Administered and Mixed-Mode Surveys. American Association for Public Opinion Research.

Dillman, D. A., Smyth, J. D., & Christian, L. M. (2009). Internet, Mail, and Mixed-Mode Surveys: The Tailored Design Method (3rd ed.). Wiley.

Medway, R. L., & Fulton, J. (2012). When more gets you less: A meta-analysis of the effect of concurrent web options on mail survey response rates. Public Opinion Quarterly, 76(4), 733–746.

Olson, K., Smyth, J. D., & Wood, H. M. (2012). Does giving people their preferred survey mode actually increase survey participation rates? An experimental examination. Public Opinion Quarterly, 76(4), 611–635.

라벨: 조사 모드, 혼합모드, 웹조사, 모드 선호, 조사 비용, 웹패널, AI 면접원