유선전화 ARS는 자치단체 여론조사를 어떻게 망치는가

유선전화 ARS는 자치단체 여론조사를 어떻게 망치는가

가구의 13%만 남은 표집틀 위에서, 오차는 여섯 단계에 걸쳐 쌓인다

선거여론조사는 그나마 검증을 받는다. 중앙선거여론조사심의위원회에 표본설계와 질문지를 등록해야 하고, 등록된 내용은 누구나 열람할 수 있다. 결과가 빗나가면 언론이 표집틀을 문제 삼는다. 반면 자치단체가 발주하는 주민만족도조사, 정책수요조사, 시정평가조사는 결과보고서만 남고 표집틀을 아무도 확인하지 않는다. 조사방법 항목에 "유선전화 ARS"라고 한 줄 적혀 있으면 그것으로 끝난다.

그런데 지금 유선전화 표집틀은 십수 년 전과 같은 물건이 아니다. 가구를 대표하던 프레임이 사업장 목록에 가까운 무언가로 바뀌었고, 그 위에서 자동응답 방식으로 조사를 돌리면 오차가 여러 단계에 걸쳐 한 방향으로 쌓인다. 자치단체 조사는 그 오차가 가장 크게 나타나는 조건을 거의 다 갖추고 있다.

이 글은 표집틀이 어디까지 무너졌는지를 공개 통계로 확인하고, 그 위에서 자동응답 방식이 오차를 어떻게 더하는지, 그리고 자치단체 단위 조사에서 왜 그 오차가 유독 커지는지를 순서대로 정리한다. 마지막에 발주자가 과업지시서 단계에서 확인할 수 있는 항목을 붙였다.

1. 유선전화는 이미 가구 매체가 아니다

한국갤럽이 2025년 3월부터 7월까지 전국(제주 제외) 만 13세 이상 5,251명에게 가구 내 제품 보유 여부를 물은 결과, 유선전화 보유율은 13%로 나타났다. 2019년 41%에서 6년 만에 삼분의 일 토막이 났다. 중간 경로도 가파르다. 2020년 36%, 2021년 29%를 거쳐 다시 4년 만에 13%까지 내려왔다.

[그림 1] 가구 내 유선전화 보유율 추이

연령별 수치는 유선을 조사에 섞는 관행의 명분을 정면으로 무너뜨린다. 유선을 넣는 이유로 가장 자주 제시되는 것이 고령층 접촉인데, 60대 이상 보유율이 2019년 58%에서 2025년 21%로 떨어졌다. 고령 가구의 다섯 중 넷이 표집틀 밖에 있다는 뜻이다. 그리고 남아 있는 21% 안의 고령층은 유선 회선을 계속 유지한다는 공통점을 가진 부분집합이지, 고령층 전체를 대표하는 표본이 아니다.

새로 만들어지는 가구는 아예 유선을 개통하지 않는다. 50대 이하 1인 가구의 보유율은 3%, 미취학 자녀가 있는 가구는 9%에 그친다. 이 두 집단은 자치단체 정책의 주요 수요층이다. 청년 주거, 보육, 교통 같은 영역을 조사하면서 유선을 쓰면 수요자 본인이 거의 표본에 들어오지 않는 조사가 된다.

여기에 갤럽이 2021년 자료에 붙여둔 단서가 하나 더 있다. 보유율은 집에 유선전화가 있다는 비율일 뿐이고, 평소 재택 시간대를 고려하면 실제 이용률은 그 절반을 밑돈다는 지적이다. 보유율이 29%이던 시점의 진단이었으니 13%에 같은 논리를 적용하면, 조사 시점에 실제로 접촉 가능한 가구 비율은 한 자릿수 초반이 된다. 명목상 13%인 커버리지가 실효 기준으로는 10%에도 미치지 못한다.

2. 남아 있는 회선은 누구의 것인가

가구 보유율만 보면 유선전화가 사라지는 중이라고 읽히지만, 회선 통계는 다른 그림을 보여준다. 과학기술정보통신부 통계에 따르면 시내전화 가입 회선은 2021년 3월 1,269만 개에서 2026년 3월 953만 개로 줄었다. 5년간 24.9% 감소다. 같은 기간 가구 보유율은 29%에서 13%로 55% 넘게 줄었다. 두 지표의 감소 속도가 두 배 이상 차이 난다.

[그림 2] 시내전화 회선과 가구 보유율의 감소 속도 비교

이 격차가 표집틀 문제의 실체다. 가구는 빠르게 빠져나가는데 회선 총량은 천천히 줄고 있으니, 남아 있는 회선에서 사업체가 차지하는 비율이 해마다 올라가고 있다. 사업장은 대표번호와 팩스 회선, 카드 단말기 회선을 유지할 실무적 이유가 있고, 시내전화가 전기통신사업법상 보편적 역무에 포함되어 있어 사업자도 가입자 감소만을 이유로 서비스를 접기 어렵다. 이 구조는 당분간 그대로 간다.

결과적으로 유선 표집틀은 가구 목록에서 상업용 회선 목록으로 성격이 바뀌었다. 목표 모집단이 관내 가구인데 표집틀의 다수가 사업체라면, 이것은 결번 비율을 조정해서 해결되는 문제가 아니다. 프레임 자체가 다른 모집단을 가리키고 있다.

기술적으로 더 곤란한 부분은 사업체 번호가 자동으로 걸러지지 않는다는 것이다. 결번은 통화 시도 단계에서 교환기가 판정해준다. 그러나 사업장 번호는 정상적으로 연결된다. 벨이 울리고 사람이 받는다. 유선 회선의 몇 퍼센트가 사업장인지 조사기관은 알 수 없고, 알 방법도 없다.

3. 번호를 만드는 과정에서 한 번 더 걸러진다

국내 ARS 조사의 유선 번호는 대부분 국번 기반 임의번호걸기로 생성된다. 해당 지역에서 쓰이는 국번을 KT 등재번호에서 추출한 뒤, 국번마다 뒷자리를 0000부터 9999까지 채워 넣는 방식이다. 지역번호만으로는 행정구역을 특정할 수 없기 때문에(031 하나가 경기 전역이다) 국번 단위로 시군구를 매핑해 두어야 자치단체 단위 조사가 성립한다.

문제는 전면 생성이 비효율적이라는 데 있다. 국번 하나에 1만 개를 다 깔면 상당수가 결번이고, 팩스와 모뎀 회선도 섞인다. 결번은 과금이 거의 붙지 않지만 회선을 점유하고 시간을 잡아먹는다. 그래서 실무에서는 등재번호가 일정 개수 이상 확인된 구간만 살려서 그 안에서 생성하는 방식을 쓴다. 미국에서 뱅크 스크리닝이라 부르는 기법이다.

이 필터가 커버리지에 손을 댄다. 등재 밀도는 지역에 따라 체계적으로 다르다. 오래된 시가지와 고령 가구가 많은 구역은 등재가 촘촘하고, 신축 아파트 단지나 젊은 층이 새로 유입된 구역은 등재가 희박하다. 임계값을 높게 잡을수록 결번은 줄지만 신규 유입 가구와 젊은 층이 함께 잘려 나간다. 유선 조사의 고령 편중이 보유율 단계에서 한 번, 번호 생성 단계에서 다시 한 번 증폭되는 구조다.

사업자 편중도 들어온다. 시드로 쓰는 등재번호가 KT 자료 기반이면, 인터넷전화로 사업자를 옮긴 가구는 등재에 잡히지 않는다. 번호이동으로 국번은 그대로 유지되니 해당 구간의 밀도만 낮아지고, 인터넷전화 전환이 빨랐던 지역이 통째로 얇아진다.

전화번호부 기반 조사의 포함오류는 국내에서도 오래전에 지적된 사안이다. 2000년대 후반 연구에서 전화번호부의 모집단 포함율은 60% 이하로 추정됐다. 그 시점의 60%가 지금 어디까지 내려왔을지는 굳이 계산할 필요도 없다.

임계값을 어디에 두느냐는 실무자가 매번 조정하는 값이다. 뱅크 안에 등재번호가 하나만 있어도 살리는 방식을 쓰면 커버리지는 좋아지지만 결번이 많아 실사 시간이 늘어난다. 반대로 등재가 촘촘한 구간만 남기면 실사는 빨라지고 표본은 늙는다. 어느 쪽을 택했는지에 따라 같은 지역, 같은 목표 사례수의 조사에서도 표본 성격이 달라지는데, 이 선택은 보고서 어디에도 기록되지 않는다. 조사설계서에 적히는 것은 유선 임의번호걸기라는 한 줄뿐이다.

4. ARS라는 조사 방식이 문제를 키운다

여기까지가 표집틀의 문제라면, 자동응답 방식은 그 위에 별도의 오차를 얹는다.

첫째, 사업장 번호를 걸러낼 수단이 없다. 면접원이 있는 전화조사라면 응답자에게 가구인지 사업장인지 확인하고 부적격 처리를 할 수 있다. ARS는 그 확인을 문항으로 넣어야 하는데, 도입부에 스크리닝 문항을 하나 더 붙이면 이탈만 늘어난다. 실제로는 확인 없이 그대로 응답으로 잡히고, 응답자는 그 사업장에 있던 누군가가 된다.

둘째, 가구 내 응답자 선정 절차가 존재하지 않는다. 확률표본 설계에서는 한 가구에 여러 명이 있을 때 무작위로 한 명을 고르는 절차가 필요하다. ARS는 수화기를 든 사람이 그대로 응답자다. 이 단계에서 이미 확률표집 원칙이 깨진다.

셋째, 완료율이 낮다. 시중 ARS 솔루션 브로슈어에 실린 발송 통계 예시를 보면, 발송 9,443건에 통화성공 5,659건(53.7%)인데 유효표본은 154건, 발송 대비 1.5%로 잡혀 있다. 통화가 연결된 건수 대비로 따지면 2.7%다. 나머지 97%는 도입부 안내를 몇 초 듣고 끊었다. 이 정도 수준이면 표집틀이 완벽하더라도 최종 표본은 끝까지 응답할 의향이 있는 사람들로 자기선택된다.

넷째, 조사 시간대가 표본 구성을 바꾼다. 사업장 회선은 평일 주간에만 응답이 나오고 야간과 주말에는 아무도 받지 않는다. 가구 회선은 정반대다. 두 유형이 섞인 표집틀에서는 언제 발신했느냐에 따라 서로 다른 모집단을 뽑게 된다. 같은 설계로 오전에 돌린 조사와 저녁에 돌린 조사가 다른 결과를 낸다.

다섯째, 선정확률을 계산할 수 없다. 가구 조사에서는 다회선 보유를 확인해 보정할 수 있지만, 사업장은 규모에 따라 회선 수가 다르고 대표번호 아래 내선이 몇 개인지 조사 중에 알 방법이 없다. 설계가중을 계산할 근거 자체가 없는 상태로 조사가 끝난다.

측정 단계로 넘어가면 문제가 하나 더 붙는다. 자동응답은 선택지를 음성으로 순차 낭독하기 때문에 응답자가 마지막 선택지를 들을 때쯤이면 앞의 선택지를 기억하지 못한다. 선택지가 다섯 개를 넘어가면 후순위 항목이 불리해지고, 그래서 ARS 설문은 선택지를 줄이고 문항을 짧게 쓰는 방향으로 설계된다. 만족도를 4점이나 5점으로 묻더라도 실제 응답은 양 끝으로 몰리는 경향이 강하다. 전화면접에서 얻은 만족도 분포와 ARS에서 얻은 분포를 같은 시계열에 올려놓고 비교하면 안 되는 이유가 여기에 있다.

중도이탈이 문항 순서를 따라 누적된다는 것도 자주 간과된다. 앞부분 문항에 답한 표본과 뒷부분 문항까지 도달한 표본은 크기도 다르고 구성도 다르다. 완료자만 분석에 쓴다면 결국 조사 전체가 끝까지 듣고 응답할 의향이 있는 사람들의 조사가 된다. 설문이 길수록 이 선별이 강해지므로, 자치단체 조사처럼 문항 수가 스무 개를 넘어가는 설계에서는 앞의 표집틀 문제 위에 무응답 편향이 다시 얹힌다.

5. 가중치가 감당해야 하는 배율

표집틀이 특정 연령대로 기울면 그 왜곡은 사후 가중으로 넘어온다. 앞서 인용한 ARS 솔루션 브로슈어에는 응답 통계 예시표가 실려 있는데, 실제 응답자 수와 가중 적용 후 수치가 함께 나와 있다. 예시이긴 하지만 유선 ARS의 연령 분포가 어떤 모습인지 보여주는 자료로는 쓸 만하다.

연령	실데이터	가중 적용	가중 배율
20대	50명	220명	4.40
30대	90명	230명	2.56
40대	250명	290명	1.16
50대	340명	290명	0.85
60대 이상	810명	480명	0.59
합계	1,540명	1,510명

[표 1] ARS 솔루션 브로슈어에 실린 응답 통계 예시 (가중 배율은 계산치)

60대 이상이 실응답의 52.6%를 차지하고 10대는 한 명도 없다. 유선 조사에서 나오는 전형적인 분포이고, 이것을 인구비에 맞추려니 20대에 4.4배가 걸린다. 응답자 50명이 220명분의 발언권을 갖는 셈이다.

문제는 가중이 표본오차를 키운다는 데 있다. 키시의 설계효과 공식으로 이 표를 계산하면 설계효과가 약 1.64로 나온다. 명목 사례수 1,540명이 유효 사례수 941명 수준으로 줄어든다는 뜻이고, 표본오차는 균등가중일 때보다 1.28배 커진다. 그런데 보고서에 표기되는 표본오차는 대개 명목 사례수 기준으로 계산된 값이다. 실제보다 정밀한 조사인 것처럼 표기되는 것이다.

여기에 가중 배율이 큰 셀은 소수 응답자의 답변이 그대로 전체 결과를 흔든다는 문제가 겹친다. 20대 50명 중 몇 명이 다른 답을 하면 220명분이 움직인다. 자치구 단위 조사처럼 목표 사례수가 500명이나 800명인 경우에는 20대 셀이 스무 명 안팎으로 떨어지는 일도 흔하고, 이 상태에서 산출된 연령별 결과를 정책 판단에 쓰는 것은 무리다.

6. 자치단체 조사에서 특히 나빠지는 이유

전국조사에서는 위의 문제들이 평균으로 희석되는 부분이 있다. 자치단체 단위로 내려가면 그렇지 않다.

첫 번째 이유는 조사 대상 구역이 상업지구와 겹친다는 것이다. 유선 회선에서 사업장 비중이 특히 높은 곳이 구도심과 상권이고, 자치구 조사는 바로 그 구역을 관내로 포함한다. 관내 사업장에서 나온 응답이 상당한 비중을 차지하게 된다.

두 번째 이유가 더 결정적이다. 관내에서 사업을 하는 사람이 관내에 거주한다는 보장이 없다. 서울 자치구를 예로 들면 사업장은 A구에 있고 거주지는 B구인 경우가 아주 흔하다. 주민만족도조사인데 주민이 아닌 사람이 답한 셈이 된다. 거주지 확인 문항을 넣어도 ARS에서는 응답자가 자기 사업장 소재 구를 눌러버리는 오류가 잡히지 않는다. 그 사람에게는 그것이 자연스러운 답이기 때문이다.

세 번째로, 자치단체 조사의 문항 구성이 이 편향에 취약하다. 생활환경 만족도, 교통 편의, 보육과 돌봄, 청년정책 인지도 같은 문항은 응답자가 그 지역에 실제로 살고 있어야 답이 성립한다. 거주자가 아닌 사람은 답을 하되 근거 없는 답을 한다. 무응답이 아니라 부정확한 응답으로 들어오기 때문에 데이터상으로는 아무 흔적이 남지 않는다.

네 번째로, 결과가 쓰이는 방식이 문제를 키운다. 만족도 점수는 부서 평가나 다음 해 사업 편성의 근거로 들어간다. 자영업자와 재택 고령층 위주로 산출된 점수가 그대로 정책 판단 자료가 되는 것이다. 정책 대상이 젊은 층과 임금근로자인 영역일수록 실제 수요와 조사 결과의 거리가 멀어지고, 그 거리를 아무도 확인하지 않는다.

다섯 번째로, 자치단체 조사는 하위 지역 분석을 요구받는다. 동별 만족도나 권역별 비교를 보고서에 넣어야 하는데, 유선 표집틀에서는 동별 응답 분포가 그 동의 인구 구성이 아니라 상권 분포를 따라간다. 상가가 밀집한 동에서 응답이 많이 나오고 주거 전용 지역에서는 적게 나온다. 여기에 연령 가중까지 걸리면 동별 수치는 해석이 거의 불가능해진다. 그런데 이 수치가 보고서에 표로 실리고, 점수가 낮은 동에 사업이 배정되기도 한다.

여섯 번째로, 자치단체 조사는 대개 연 단위로 반복된다. 표집틀의 성격이 매년 조금씩 바뀌는데 같은 방식이라는 이유로 시계열 비교가 이루어진다. 유선 보유율이 29%이던 2021년 조사와 13%인 2025년 조사를 나란히 놓고 만족도가 몇 점 올랐다고 서술하는 것은, 표본의 성격 변화를 정책 효과로 읽는 일이 된다. 점수 변동의 상당 부분이 표집틀 변화에서 나왔을 가능성을 배제할 근거가 없다.

7. 결국 누가 답하고 있는가

유선 ARS로 자치단체 조사를 돌렸을 때 최종 표본에 남는 사람들의 공통점은 근무 시간에 전화를 받아도 되는 위치에 있다는 것이다. 가게를 지키는 자영업자, 사무실에서 대표번호를 받는 소규모 사업장 상주자, 그리고 집에 상주하는 고령자다.

반대로 임금근로자는 사실상 사라진다. 근무 중에 사무실 유선으로 걸려온 자동응답조사를 끝까지 응답하는 직장인은 거의 없고, 그 사람의 집 유선은 낮 시간에 아무도 받지 않는다. 취업자가 과대대표된다고 생각하기 쉽지만 실제로는 그 반대다. 과대대표되는 것은 자영업자와 사업장 상주자이고, 임금근로자는 과소대표된다.

이 편향이 다루기 까다로운 이유는 방향이 단일하지 않다는 데 있다. 자영업층과 은퇴 고령층이 동시에 부푸는데, 두 집단의 정책 선호가 늘 같은 쪽은 아니다. 그래서 조사마다 편향의 방향이 흔들린다. 방향이 일정하면 보정을 시도라도 하겠지만, 구성비가 조사 시간대와 지역 특성에 따라 요동치면 그것도 불가능하다. 유선 혼합 조사의 재현성이 낮은 이유가 여기에 있다.

정치적 함의도 따라붙는다. 자영업층과 은퇴 고령층은 각각 뚜렷한 정책 선호를 가진 집단이다. 소상공인 지원, 임대료, 주차, 노인 복지 같은 항목에서는 이들의 응답이 실제 주민 여론보다 훨씬 강하게 반영되고, 청년 주거나 보육, 대중교통 확충처럼 다른 층의 이해가 걸린 항목에서는 반대 방향으로 왜곡된다. 만족도 점수 하나만 보면 이런 구조가 드러나지 않는다. 점수가 높게 나온 사업이 실제로 잘된 사업인지, 그 사업의 수혜층이 표본에 많이 들어온 것뿐인지 구분할 방법이 없다.

8. 사후 가중으로는 잡히지 않는다

국내 조사에서 사후 가중은 대개 성별, 연령, 지역 세 변수로 이루어진다. 이 조합은 앞서 설명한 편향을 전혀 건드리지 못한다. 인구비만 맞춰 놓고 종사상 지위 구성은 완전히 어긋난 상태로 결과가 나간다.

종사상 지위를 가중 변수에 추가하면 되지 않느냐는 반론이 가능하다. 그러려면 유선 응답자에게 직업 문항을 물어야 하는데 ARS에서 문항 하나는 이탈 요인이다. 물어서 얻더라도 그 응답자가 사업장의 주인인지 직원인지에 따라 가구 단위 해석이 또 달라진다. 그리고 관내 거주 여부는 애초에 가중으로 보정할 수 있는 성질의 변수가 아니다. 부적격자를 가중치로 적격자로 바꿀 수는 없기 때문이다.

오차가 어느 단계에서 발생하는지 정리하면 다음과 같다.

단계	무엇이 일어나는가	오차 유형
표집틀 구성	유선을 보유한 가구가 13%까지 줄었고, 남아 있는 회선의 상당수가 사업장이다. 목표 모집단인 관내 가구와 표집틀이 어긋난다.	커버리지 오차
번호 생성	등재 밀도를 기준으로 뱅크를 걸러내면 신축 단지와 젊은 층 밀집지가 통째로 빠진다.	커버리지 오차
발신과 접촉	평일 주간 발신에 응답할 수 있는 사람은 사업장 상주자와 재택 고령층으로 한정된다.	무응답 오차
응답자 선정	가구 내 무작위 선정이 불가능하다. 수화기를 든 사람이 그대로 응답자가 된다.	표집 오차, 측정 오차
응답 완료	도입부 이탈이 대량으로 발생해 관심이 있거나 시간 여유가 있는 사람만 남는다.	무응답 오차
사후 가중	성별과 연령, 지역만 보정한다. 종사상 지위와 실제 거주 여부는 보정 대상에 없다.	조정 오차

[표 2] 유선 ARS 자치단체 조사에서 오차가 쌓이는 단계

여섯 단계 중 사후 가중으로 손댈 수 있는 것은 마지막 하나뿐이고, 그마저도 성별과 연령, 지역에 한정된다. 앞의 다섯 단계에서 발생한 오차는 그대로 결과에 남는다.

9. 그런데도 계속 쓰이는 이유

이 정도 문제를 안고 있는데도 자치단체 조사에서 유선 ARS가 계속 쓰이는 데는 나름의 사정이 있다.

가장 큰 이유는 지역을 고정할 수 있는 전화 표집틀이 유선밖에 없다는 것이다. 휴대전화 가상번호는 공직선거법이 허용하는 선거여론조사에만 제공된다. 정당이나 조사회사가 중앙선거여론조사심의위원회를 통해 신청하면 통신 3사가 지역과 성별, 연령 조건에 맞춰 번호를 내주는 구조이고, 자치단체 정책조사는 대상이 아니다. 무선 임의번호걸기는 010 번호에 지역정보가 없어서 관외 응답자를 걸러내려면 스크리닝으로 대량 탈락시켜야 하고, 그만큼 단가가 올라간다.

두 번째는 단가다. 자치단체 조사는 예산 규모가 작은 경우가 많고, 유선 ARS는 통화요금 수준에서 조사가 끝난다. 발주 단가가 낮게 책정되면 다른 선택지가 사실상 없다.

세 번째는 관성이다. 전년도와 같은 방식으로 조사해야 시계열 비교가 된다는 논리가 매년 같은 방식을 정당화한다. 그러나 표집틀의 성격이 해마다 바뀌고 있다면 같은 방식으로 조사한 결과가 같은 것을 재고 있다는 보장이 없다. 2019년의 유선 표본과 2025년의 유선 표본은 다른 모집단이다.

네 번째로 지적할 것은 유선 ARS의 낮은 단가가 실제로는 조사의 질을 사는 데 쓰이지 않는다는 사실이다. 선거조사에서 쓰이는 휴대전화 가상번호는 2024년 기준 번호 하나당 하루 16.75원이었고 2026년에는 건당 34.6원으로 올랐다. 유선 ARS의 통화요금 기반 과금은 그보다 훨씬 싸다. 발주 예산이 낮게 책정되는 이유가 유선 단가를 기준으로 삼기 때문이고, 그렇게 책정된 예산에서는 다시 유선 외의 선택이 불가능해진다. 단가가 방식을 정하고 방식이 다시 단가를 정당화하는 구조가 굳어져 있다.

이 구조에서 조사기관이 할 수 있는 일은 많지 않다. 유선 ARS를 수행하는 기관들이 표집틀의 한계를 모르고 있는 것이 아니다. 과업지시서에 적힌 방식으로, 책정된 예산 안에서 수행할 뿐이다. 발주 단계에서 방식이 정해지고 예산이 그 방식에 맞춰지면 그 아래에서 개선할 수 있는 여지는 거의 없다. 문제를 실사 현장의 성실성으로 돌리는 논의가 소득 없이 반복되는 이유가 여기에 있다.

10. 대안은 있는가

유선 ARS를 쓰지 말자는 주장은 대안을 제시하지 않으면 공허하다. 자치단체 조사에서 실제로 선택 가능한 방식들을 놓고 보면 각각 제약이 있다.

무선 임의번호걸기는 커버리지가 압도적으로 낫다. 휴대전화 보유율이 98%를 넘으니 표집틀 문제는 사실상 사라진다. 대신 010 번호에 지역정보가 없어서 관내 거주자를 걸러내려면 도입부 스크리닝으로 관외 응답자를 대량 탈락시켜야 한다. 인구 30만 자치구라면 전국에서 무작위로 걸어 관내 거주자를 만날 확률이 0.6% 수준이므로, 발신량이 감당하기 어렵게 늘어난다. 광역시도 단위 조사에서는 쓸 만하지만 자치구 단위에서는 현실성이 떨어진다.

문자 발송 후 모바일 웹으로 응답을 받는 방식은 이 문제를 우회한다. 통신사 마케팅 수신에 동의한 가입자를 대상으로 지역과 성별, 연령 조건을 걸어 발송할 수 있으므로 관내 거주자에게 직접 도달한다. 응답자가 화면으로 문항과 선택지를 읽기 때문에 선택지 수 제약도 없고, 앞서 지적한 ARS의 낭독 순서 문제나 극단 응답 경향에서도 자유롭다. 다만 옵트인 가입자를 대상으로 하므로 확률표집이 아니고, 고령층 응답률이 낮아 연령 할당을 맞추려면 발송 배분에 신경을 써야 한다. 이 방식에서는 조사개요에 표집틀만 적는 것으로 부족하고 발송 채널을 함께 밝혀야 한다.

대면 면접조사는 방법론적으로 가장 안전하지만 단가가 다르다. 자치단체 정책조사 예산으로 500명 이상 표본을 대면으로 확보하는 것은 대부분 불가능하다. 표본이 작아 연령별, 동별 분석이 어려워지는 점도 감수해야 한다.

현실적인 선택은 방식을 바꾸거나, 유선을 유지하되 무엇을 조사한 것인지 정직하게 표기하는 것 둘 중 하나다. 후자를 택한다면 보고서에 유선 보유 가구가 전체의 13% 수준이라는 사실과 응답자의 종사상 지위 분포를 명시해야 한다. 그것이 어렵다면 방식을 바꾸는 편이 낫다.

11. 발주자가 확인해야 할 것

조사기관을 탓하는 것으로 해결되지 않는 문제다. 과업지시서에 유선 ARS로 적혀 있으면 조사기관은 그대로 수행할 뿐이다. 발주 단계에서 확인할 항목을 정리하면 다음과 같다.

과업지시서에 조사 방식을 명시할 때 표집틀의 성격을 함께 요구하는 것이 출발이다. 유선을 쓴다면 국번 리스트의 기준 시점과 갱신 주기, 뱅크 스크리닝 임계값, 실제 발신한 번호 전량을 산출물로 제출하도록 하는 것이 최소선이다. 이 자료가 없으면 어떤 모집단을 조사했는지 사후에 확인할 방법이 사라진다.

응답자 특성표에 종사상 지위를 포함하도록 요구하는 것도 실효성이 있다. 자영업자 비율을 해당 지역의 경제활동인구조사 수치와 대조하면 편향 규모가 곧바로 드러난다. 문항 하나를 추가하는 부담은 있지만, 그 문항 없이 산출된 만족도 점수를 정책 근거로 쓰는 위험보다는 작다.

관내 거주 여부를 도입부에서 확인하고 부적격 처리 건수를 보고하도록 하는 것도 필요하다. 유선 조사에서 이 수치가 얼마나 나오는지 공개된 국내 자료는 거의 없다. 몇 건만 축적되어도 유선 표집틀의 실태를 보여주는 근거가 된다.

조사 시간대별 응답 구성을 보고하도록 하는 것도 방법이다. 주간과 야간의 표본 구성이 크게 다르다면 그 자체가 표집틀에 이질적인 두 집단이 섞여 있다는 증거다.

설계효과와 유효 사례수를 함께 보고하도록 요구하는 것도 실효성이 크다. 가중치 분산으로 계산한 유효 사례수를 표기하면 명목 사례수만 적힌 보고서보다 조사의 정밀도를 정직하게 보여준다. 연령별 가중 배율이 3배를 넘는 셀이 있으면 그 셀의 결과는 참고치로만 쓴다는 원칙을 과업지시서에 명시할 수도 있다.

이 항목들은 조사 단가를 크게 올리지 않는다. 문항 두어 개와 산출물 몇 가지를 추가하는 수준이다. 그런데도 지금 과업지시서에 이런 요구가 거의 들어가지 않는 이유는, 발주 부서에 표집틀을 검토할 인력이 없고 검토하지 않아도 아무 문제가 생기지 않기 때문이다. 결과보고서를 심의하는 절차가 방법론을 다루지 않으면 이 상태는 유지된다.

12. 남은 과제

유선전화 표집틀이 어디까지 무너졌는지에 대한 국내 실측 자료가 부족하다. 뱅크 스크리닝 임계값을 낮췄을 때 커버리지가 얼마나 회복되고 실사 효율이 얼마나 떨어지는지, 유선 응답자 중 사업장에서 받은 비율이 실제로 몇 퍼센트인지, 관내 사업장 응답자 가운데 관외 거주자가 얼마나 되는지에 대한 숫자가 공개된 적이 거의 없다. 조사기관들이 내부적으로는 알고 있으면서 밖으로 내놓지 않는 종류의 정보다.

확인 문항 하나를 붙인 파일럿이면 나오는 수치들이다. 자치단체 조사를 수행하는 기관이라면 진행 중인 조사에 문항 두어 개를 얹는 것으로 축적할 수 있다. 이 숫자가 나오기 전까지는 유선 ARS를 쓰지 말자는 주장도, 여전히 유효하다는 반론도 모두 근거가 약하다.

자치단체 조사의 방법론을 다루는 제도적 장치가 없다는 것도 과제로 남는다. 선거여론조사는 등록과 심의 절차가 있어서 표본설계가 공개되지만, 정책조사는 발주 부서의 재량에 맡겨져 있다. 지방연구원이나 자치단체 협의체 차원에서 최소 기준을 만드는 방법을 생각해볼 수 있다. 표집틀의 커버리지를 보고서에 명시하도록 하고, 특정 방식을 쓸 경우 어떤 한계가 있는지 표준 문구로 붙이게 하는 정도라면 부담이 크지 않다.

분명한 것은 유선전화가 가구를 대표하던 시기가 끝났다는 사실이다. 가구의 13%, 실제 접촉 가능성으로는 한 자릿수만 남은 표집틀 위에서 자동응답조사를 돌리고, 그 결과에 성별과 연령과 지역 가중을 걸어 만족도 점수를 산출한 뒤, 그 점수로 다음 해 예산을 판단하는 절차가 지금도 매년 반복되고 있다.

이것은 조사가 부정확하다는 수준의 문제가 아니다. 무엇을 측정한 것인지 아무도 확인하지 않은 숫자가 행정 판단의 근거로 쓰이고 있다는 뜻이다. 바꿀 수 있는 자리는 분명하다. 다음 과업지시서에 표집틀의 커버리지와 응답자의 종사상 지위, 관내 거주 확인 결과를 산출물로 요구하는 한 줄을 넣는 것으로 시작된다.

 

자료 출처

· 한국갤럽, 생활·정보 가전 등 20종 가구 내 보유율 조사(2025년 3~7월, 전국 제주 제외 만 13세 이상 5,251명) 및 동일 조사 2019~2021년 결과

· 과학기술정보통신부, 시내전화 가입 회선 통계(2021년 3월, 2026년 3월)

· 중앙선거여론조사심의위원회, 선거여론조사기관 등록 및 휴대전화 가상번호 제공 관련 안내

· 국내 RDD 전화조사 도입기 연구(전화번호부 모집단 포함율 60% 이하 추정)