유엔 가구·개인 조사 핸드북(2026) 소개

 

유엔 가구·개인 조사 핸드북(2026) 소개

Handbook of Surveys on Households and Individuals: Foundations and Emerging Approaches

United Nations Statistics Division, Final Draft (2026. 4. 30. 업데이트본), 595쪽

1984년 이후 40여 년 만에 전면 개정된 유엔의 가구조사 종합 지침서가 최종 초안으로 공개되었다. 조사 기획에서 공표까지의 전 과정을 다룬 1부 열 개 장과 교육, 노동, 자산, 젠더, 강제이주민 등 주제별 각론인 2부 일곱 개 장으로 구성된 이 문서의 배경, 구조, 주요 내용을 정리했다.

1. 어떤 문서인가

유엔 통계처(UNSD)가 준비한 「가구·개인 조사 핸드북: 기초와 신흥 접근(Handbook of Surveys on Households and Individuals: Foundations and Emerging Approaches)」이 최종 초안(Final Draft) 형태로 공개되었다. 2026년 3월 뉴욕에서 열린 유엔 통계위원회 제57차 회기에 배경문서로 제출된 판본이며, 이후 4월 30일자로 업데이트된 문서가 유통되고 있다. 분량은 약 595쪽이다.

이 핸드북은 1984년에 나온 「유엔 가구조사 핸드북(UN Handbook on Household Surveys)」을 40여 년 만에 전면 개정한 것이다. 유엔 통계처는 1950년대부터 가구조사 방법론 지침을 꾸준히 내왔다. 1982년부터 1995년까지 이어진 국가가구조사역량프로그램(NHSCP) 시리즈가 설문 개발, 표본추출, 소득·지출·건강 조사 등 세부 주제를 다뤘고, 2005년 「개발도상국·체제전환국의 가구표본조사」, 2008년 「가구조사 표본설계 실무지침」이 뒤를 이었다. 그러나 종합 지침서 격인 1984년판은 오늘의 조사 환경과 거리가 멀어진 지 오래였다. 응답률 하락, 조사 비용 상승, 더 빠르고 세밀한 통계에 대한 수요, 행정자료·원격탐사·휴대전화 위치정보·시민생성데이터 같은 비전통 데이터원의 등장이 개정의 배경으로 명시되어 있다.

제목의 변화도 눈에 띈다. 기존의 '가구조사(household surveys)'가 '가구와 개인에 대한 조사(surveys of households and individuals)'로 바뀌었다. 가구 개념이 여전히 사회조사의 중심이지만, 시설 거주자나 홈리스처럼 가구 밖에 있는 개인도 조사 대상에 포함되어야 하고, 어떤 조사는 표본설계에서 가구 개념을 아예 거치지 않을 수 있다는 인식을 반영한 것이다.

작성은 유엔 통계처가 주도하고 가구조사 사무국간 실무그룹(ISWGHS)이 감수했다. 실무그룹 공동의장은 세계은행(Calogero Carletto, Talip Kilic), UN Women(Papa Seck, Jessamyn Encarnacion), UNESCO(Manos Antoninis)가 맡았고, 기술 총괄 에디터는 갤럽의 Charles Lau다. 운영위원회 명단에는 메릴랜드대 조사방법론 합동프로그램(JPSM)의 Frauke Kreuter, 에식스대의 Peter Lynn 같은 학계 인사와 캐나다, 멕시코, 중국, 자메이카, 우간다, 브라질 통계기관의 전문가들이 올라 있다. 전문가그룹 회의, 기술 워크숍, 여러 차례의 글로벌 협의와 동료검토를 거쳤다고 서문은 밝히고 있다.

2. 누구를 위한 문서이고, 무엇이 다른가

1차 독자는 국가통계기구(NSO)다. 다만 국가통계시스템 안에서 공식통계를 생산하는 다른 정부기관, 조사를 수행하는 부처, NGO, 민간 조사회사, 국제·지역 기구도 독자로 명시되어 있다. 통계 인프라 수준이 서로 다른 나라들을 모두 지원하도록 설계되었고, 원칙과 단계별 절차에 각국 사례를 붙이는 방식으로 서술된다.

핸드북 스스로 밝히는 차별점은 네 가지다. 첫째, 신흥 접근(emerging approaches)의 수록이다. 확립된 방법론과 함께, 아직 연구 단계이거나 검증은 되었으나 국가조사에 널리 채택되지 않은 방법들을 각 장 말미에 별도 절로 정리했다. 품질과 효율을 높일 수 있다면 실험하고 채택하라는 권고가 붙어 있다. 둘째, 포용(inclusion)이다. 전통적 조사설계는 모집단이 가구 거주자이고 단일한 조사 절차가 모두에게 통한다고 가정하지만, 이 핸드북은 시설 거주자, 홈리스, 장애인, 소수 언어 사용자 등이 배제되지 않도록 절차를 조정해야 할 곳들을 명시한다. 셋째, 조사를 국가 데이터 생태계의 구성요소로 보는 시각이다. 조사를 시작하기 전에 이미 있는 데이터를 점검하고, 다른 데이터원과 결합하기 쉽도록 처음부터 상호운용성을 고려해 설계하라는 원칙이 책 전체에 반복된다. 넷째, 살아있는 문서(living document)라는 성격이다. 인쇄본과 별도로 온라인 플랫폼을 통해 지속적으로 갱신하고 보완 자료를 얹을 계획이며, 실제로 문서 앞부분에는 이용자 대상 피드백 조사 안내가 실려 있다.

살아있는 문서라는 성격은 말에 그치지 않는다. 배포본 앞부분에는 이용자 피드백 조사 안내가 실려 있는데, 어떤 배포 채널(온라인 문서, 인쇄물, 웨비나, 워크숍 등)이 유용한지, 핸드북을 어떤 용도(신규 직원 교육, 훈련, 조사 승인, 내부 규정 개발 등)로 쓸 것인지, 갱신 주기를 어떻게 할지 등을 묻는다. 문서의 유통과 개정 자체를 조사로 관리하겠다는 접근이 조사 지침서답다.

구조 면에서는 유엔 유럽경제위원회(UNECE)의 일반통계업무프로세스모델(GSBPM) 5.2판과의 정렬을 명시했다. 2장(조사 필요성 평가와 착수)이 GSBPM 1단계(수요 명세), 6장(자료수집)이 4단계(수집), 9장(분석)이 6단계(분석), 10장(공표)이 7단계(공표)에 대응하는 식이다. 다만 가구조사의 실무 비중을 고려해 GSBPM에서는 하위 프로세스(5.6)에 불과한 가중치 산출에 한 장(8장)을 통째로 배정했고, 설계(2단계)와 구축(3단계)은 별도 장으로 나누지 않고 과업별 장 안에 통합했다.

3. 1부: 조사 수행의 전 과정

1부(1~10장)는 조사 한 건이 기획에서 공표까지 거치는 전 과정을 순서대로 다룬다. 4장부터 10장까지는 공통 형식을 따른다. 과업의 개요와 원칙으로 시작해, 세부 절차를 단계별로 안내하는 '하우투' 부분이 중심을 이루고, 신흥 접근과 추가 참고자료로 마무리된다.

1장. 조사 환경 개관 (Overview of the Survey Landscape)

책 전체의 용어와 전제를 깔아 주는 장이다. 공식통계 기본원칙과 품질 프레임워크에서 시작해 확률·비확률표본, 자료수집 모드, 포용성, 응답자 부담, 패러데이터와 메타데이터, 공중과의 소통, 데이터 통합과 상호운용성까지를 개관한다. 다른 장을 읽기 전에 먼저 읽으라고 권하는 장이기도 하다.

확률표본에 대한 태도가 분명하게 정리되어 있다. 응답률 하락, 비용 상승, 적시성 요구, 온라인 데이터원의 확산으로 확률표본·설계기반 추론이라는 전통 패러다임이 도전받고 있고 비확률조사에 대한 관심이 되살아났다는 사실을 인정하면서도, 이 핸드북의 권고는 확률표본과 설계기반 추론에 중심을 둔다고 못박는다. 비확률표본은 참여 메커니즘의 통계적 성질을 알 수 없어 선택편향에 훨씬 취약하고, 가중 모형도 근거가 빈약한 상태에서 만들어야 하며, 품질지표 정의조차 어렵다는 이유다. 다만 인지테스트, 운영 사전점검, 신규 주제의 탐색 조사처럼 모집단 추론이 필요 없는 용도에는 비확률표본이 표준 관행이라는 점, 확률표본이 불가능한 접근 곤란 모집단에서는 한계를 명확히 알리는 조건으로 사용을 고려할 수 있다는 점도 함께 적었다. 비확률 자료의 가중 방법은 8장에서 신흥 접근으로 다룬다.

장의 앞머리에 배치된 공식통계 기본원칙과 품질 프레임워크 논의는 이후 모든 장의 준거가 된다. 통계의 정확성만이 아니라 적합성, 적시성, 접근성, 일관성, 해석가능성까지 포함하는 다차원 품질 개념이 제시되고, 뒤에 나오는 총조사오차 관점의 오차 관리가 이 틀 위에서 전개된다. 응답자 부담에 대한 절도 따로 있다. 부담을 낮추는 일이 응답자에 대한 예의인 동시에 무응답과 측정오차를 줄이는 품질 전략이라는 이중의 논리로 정당화되며, 설문 길이의 관리와 기존 데이터의 활용이 그 수단으로 제시된다. 패러데이터와 메타데이터의 구분과 활용, 그리고 조사에 대한 공중의 신뢰를 쌓는 소통과 관여 방안도 이 장에서 미리 소개된다.

1장 마지막의 데이터 통합 절은 이 핸드북의 지향을 압축해 보여 준다. 표집 단계에서는 이동전화 프레임과 유선전화 프레임의 결합으로 커버리지를 보완하거나 미국 프레임 프로젝트처럼 주소 프레임에 사업체등록부와 인구 프레임을 결합해 층화 효율을 높이는 사례가, 수집 단계에서는 행정자료 연계로 조사 문항 자체를 대체한 캐나다 소득조사와 EU-SILC의 사례가, 분석 단계에서는 조사자료와 보조자료를 모형으로 결합하는 소지역추정(SAE)이 제시된다. 조사를 고립된 생산물이 아니라 다른 데이터원과 결합될 것을 전제로 설계하라는 상호운용성 원칙이 여기서 처음 정식화된다.

자료수집 모드에 대해서는 서술의 비중을 스스로 밝히고 있다. 대면면접이 여전히 다수 국가의 지배적 모드이므로 가장 많은 지면을 할애하고, 전화면접도 다루되, 자기기입식(웹, 우편)은 상대적으로 적게 다룬다는 것이다. 용어 정리도 흥미로운데, 웹조사는 정의상 컴퓨터 기반이므로 CAWI라는 표현을 쓰지 않겠다고 명시했다. 혼합모드(mixed-mode)는 비중 있게 다뤄진다. 웹처럼 저렴한 모드로 먼저 접근하고 무응답자를 CATI, CAPI로 추적하는 순차 설계와 여러 모드를 동시에 제시하는 동시 설계를 구분하고, 모드 선택효과(모드별로 다른 사람이 참여해 표본 구성이 개선되는 효과)와 모드 측정효과(같은 사람이 모드에 따라 다른 응답을 하는 효과)를 나눠 설명한다. 혼합모드가 참여율과 포용성을 높일 수 있지만 설문 설계, 표본 관리, 자료 관리가 모두 복잡해진다는 경고도 붙어 있다. 한 조사 안에서 문항 묶음별로 모드를 달리하는 방식은 혼합모드가 아니라 다중모드(multi-mode)로 구분해 부른다.

2장. 조사 필요성 평가와 착수 (Survey Needs Assessment and Initiation)

새 조사(또는 새 모듈, 새 조사 프로그램)를 시작할지 말지를 판단하는 단계를 다룬다. 이해관계자의 수요를 식별하고 문서화하는 데서 출발해, 조사의 범위(주요 설계 결정과 산출물)와 재원(사업 타당성 논리)을 검토한 뒤, 신규 자료수집으로 갈지 여부를 판단하는 프레임워크를 제시한다. 모든 요청이 새 조사로 이어져야 하는 것은 아니라는 문장이 이 장의 요지를 압축한다. 이미 있는 데이터로 답할 수 있는 수요인지 먼저 확인하라는 것이다. 국가 사례연구로 마무리된다.

3장. 조사 관리 (Survey Management)

조사 프로젝트의 감독, 지휘, 조정을 다루는 장이다. 계획, 조직, 리더십, 통제라는 관리의 기본 기능을 조사라는 노동집약적이고 다학제적인 작업에 적용한다. 거버넌스 구조, 조사 관리자의 역할, 실사 전 준비, 테스트, 실행 단계의 모니터링과 통제, 프로젝트 종료까지를 절차 순서대로 안내하며, 일정 관리, 예산, 리스크 관리, 품질보증, 이해관계자 관리, 윤리적 고려 같은 주제가 함께 다뤄진다. 성공의 기준을 시간, 비용, 품질의 균형과 효과적인 이해관계자 관여로 정의한 점이 실무적이다.

실사 전 준비에 배정된 절이 특히 구체적이다. 인력 계획과 조달, 장비와 물류, 일정표 작성, 예산 편성이 항목별로 안내되고, 본조사에 앞선 테스트를 별도 절로 두어 시스템·절차·설문의 점검을 실사 개시의 전제조건으로 못박는다. 프로젝트 종료 절에서는 산출물 인계와 함께 사후 평가와 교훈의 문서화를 요구하는데, 다음 조사 주기의 개선이 이번 조사의 마무리 안에서 시작된다는 시각이다.

4장. 설문지 설계, 번역, 도구화 (Questionnaire Design, Translation, and Instrumentation)

설문지 관련 장 중에서 개념적 기반이 가장 탄탄한 장이다. 인지 응답과정 모형, 설문지 설계·개발·평가·테스트(QDET), 응답자 중심 설계라는 세 프레임워크를 먼저 소개한 뒤, 설문 내용 구성, 종이 설문지의 기술적 설계, 전자 자료수집을 위한 사양서 작성, 번역, 설문 평가와 테스트, 자료수집 시스템 선정, 프로그래밍과 테스트를 차례로 안내한다. 설문지 설계를 넓게 정의한 점이 특징이다. 문항 초안 작성과 번역만이 아니라 전자 자료수집 시스템에 설문을 구현하는 작업까지를 설계의 일부로 보고, NSO들이 실제로 쓰는 자료수집 시스템들을 비교해 준다.

번역과 테스트는 각각 독립된 절로 다뤄진다. 번역에서는 한 사람의 번역가에게 맡기는 방식이 아니라 복수의 번역, 검토 회의, 판정, 사전 테스트, 문서화로 이어지는 팀 기반 절차(TRAPD)가 표준으로 제시된다. 다국어 조사가 흔한 국제 조사의 경험이 응축된 부분이지만, 외국인 대상 조사나 다문화 가구 조사가 늘어나는 국내 여건에서도 참고할 지침이다. 설문 평가와 테스트 절은 전문가 검토, 인지면접, 사전조사 같은 방법들을 언제 어떤 조합으로 쓸지 안내하며, 테스트 없이 실사에 들어가는 관행에 대한 사실상의 반대 논거를 제공한다.

이 장의 신흥 접근 절은 AI 논의가 가장 집중된 곳이다. 기계번역에 대해서는 2025년 시점의 권고로 원문 그대로 쓰지 말고 반드시 인간 번역가가 검수·수정하는 MTPE(machine translation and post-editing) 방식을 제시한다. 겉보기에 매끄러운 기계번역도 전문가가 뜯어보면 심각한 누락과 오류가 발견되는 일이 잦고, TRAPD 같은 팀 기반 번역 절차의 검토 회의에서는 번역 의도를 설명할 사람이 없다는 약점이 남는다는 것이다. 생성형 AI에 대해서는 문항 개발과 평가, 번역 검토, 개방형 응답 코딩에서의 활용 가능성을 소개하되, 단순 과제에는 잘 작동하지만 복수 코드나 함축적 의미가 있는 응답에서는 취약하고 집단별로 체계적으로 다른 해석을 내놓아 편향 우려가 있다는 평가 결과를 인용하면서, 인간 전문성을 대체하는 것이 아니라 보완하는 용도로 쓸 때 가장 효과적이라고 정리한다. 이 밖에 조사 워크플로 도구, 화상 인지면접, AI와 소셜미디어를 활용한 설문 평가도 언급된다.

5장. 표집틀과 표본추출 (Frames and Sampling)

전반부는 표집틀이다. 가구·개인 조사에 쓰이는 주요 틀 유형으로 지역틀(area frame), 주거틀(dwelling frame), 전화번호틀, 개인틀(person frame)을 제시하고, 틀의 구축, 유지, 갱신 전략을 실무 품질 관리 관점에서 안내한다. 후반부는 표본설계다. 기본 표본추출 유형들과 그 조합, 표본크기 산정과 배분 방법에 대한 실무 지침, 그리고 틀과 표본설계의 상호작용을 보여 준다. 접근 곤란 모집단(hard-to-survey populations)에 도달하기 위한 고급 기법들도 신흥 용법으로 소개된다. 모집단 추론의 정당성이 어디서 오는지를 다루는 앞부분(표본에서 모집단으로의 추론)은 조사 통계의 원리를 다시 정리해 두기에 좋은 절이다.

실무자에게 유용한 것은 틀별 강약점의 정리다. 지역틀은 커버리지가 넓지만 구축과 갱신 비용이 크고, 주거틀은 다단계 설계의 기반이 되며, 전화번호틀은 접촉정보를 내장하지만 커버리지와 중복의 관리가 관건이고, 인구등록부 기반 개인틀은 그것이 갖춰진 나라에서 강력한 선택지가 된다. 어떤 틀을 쓸 수 있는지가 어떤 표본설계와 조사모드가 가능한지를 규정한다는 것이 이 장의 일관된 논리이며, 낡은 주거틀을 신축 주택 프레임으로 보완하는 식의 복수 틀 결합 전략도 안내된다.

6장. 자료수집 (Data Collection)

실사 전 과정을 다루는, 사실상 실사 운영 매뉴얼에 가까운 장이다. 자료수집의 목표 설정에서 시작해 실사팀 조직, 훈련(방식, 모드, 내용, 물류), 조사 홍보(공중, 지역사회, 지방정부의 협조 확보), 그리고 표본 구성원 접근, 접촉, 협조 획득, 면접 수행이라는 수집 실행의 세부 단계를 안내한다. 생산 모니터링(수집 과정의 표준화된 관찰과 관리)과 품질관리(프로토콜 준수 확인과 오류 최소화)에 상당한 지면이 배정되어 있고, 위기 상황에서의 자료수집도 별도로 다룬다.

종이에서 태블릿으로의 전환, 즉 PAPI에서 CAPI로의 이행을 다룬 부분도 실무적이다. 모드 전환이 측정에 영향을 주는지에 대한 실증 연구(튀니지에서 PAPI를 CAPI로 바꿔도 집권당 관련 응답이 달라지지 않았다는 사례)를 인용하고, 기기 조달과 전력·통신 여건의 사전 평가, 도난에 대비한 기기 위장과 저장 데이터 암호화 같은 보안 조치까지 챙긴다. 개발도상국 실사 현장의 사정이 반영된 대목이다.

이 장의 신흥 접근 절이 새로운 조사모드를 모아 둔 곳이다. 대화형 음성응답(IVR), 문자메시지(SMS), 앱 기반 조사, 화상면접(CAVI/VMI)이 여기서 소개된다. SMS는 휴대전화 보급 확대로 쉬워진 방식이지만 아주 짧은 조사, 조사 참여 안내의 전달, CAPI/CATI 후속의 혼합모드 구성요소로 적합하다는 정도로 서술되며, 민감한 주제에서 사회적 바람직성 편향을 줄이는 데 유용할 수 있다는 언급이 붙는다. 화상면접은 코로나19를 계기로 확산된 사례로 2020년 미국 선거연구(ANES)와 이탈리아 노동력조사(ILFS)의 방법론 보고서가 인용된다. 머신러닝의 실사 적용도 다뤄지는데, 개방형 응답의 실시간 전사와 코드 추천(인도 통계청의 산업·직업·시간활용 분류 지원 사례), 품질관리 지표의 우선순위 선별, 수집과 동시에 도는 이상 데이터 탐지 같은 사례가 소개된다.

7장. 자료처리 (Data Processing)

원자료를 분석 가능한 최종 자료로 바꾸는 과정이다. 면접 자료의 수신과 표본·패러데이터·지리정보 등 보조 데이터셋과의 통합, 구조·범위·일관성·타당성 점검과 편집, 분류와 코딩, 처리 작업들의 일정 배치, 무응답 대체(imputation), 재코딩과 파생변수, 분석용 최종 파일 준비, 메타데이터, 자료 보관과 보존까지를 순서대로 안내한다. 점검·편집·코딩 작업을 조사 주기 어디에 배치할지를 별도 절로 다룬 점이 눈에 띄는데, 수집 종료 후로 미루지 말고 수집과 병행해 앞당길수록 오류의 조기 발견과 현장 개입이 가능해진다는 논리다. 신흥 접근으로는 AI를 활용한 처리 자동화가 논의된다. 4장과 6장에서 소개된 개방형 응답의 자동 분류가 처리 단계에서도 이어지며, 여기서도 인간 검토와의 병행이 단서로 붙는다.

8장. 가중 (Weighting)

확률표본 조사의 가중치 산출을 원리에서 실무 절차로 옮겨 주는 장이다. 설계가중치, 무응답 조정, 칼리브레이션이라는 주요 단계에 적격성 조정과 절사(trimming) 같은 부가 단계를 더해 설명하고, 다단계 표본설계에서의 가중치 개발과 과정 전반의 품질 진단에 무게를 둔다. 패널조사와 표본 통합(pooling)이라는 특수 주제도 다룬다.

이 장의 신흥 접근 절은 비확률표본에서 비편향 추정을 추구하는 데이터 통합 기법을 다룬다. 비확률표본의 근본 한계를 설계가중치를 계산할 수 없다는 것으로 규정하고, 포함확률이 0인 단위가 만드는 커버리지 편향(페이스북 조사에서의 비온라인 인구)과 포함확률이 알려지지 않고 불균등해 생기는 선택 편향(정치적 신념이 강한 사람이 과대대표되는 옵트인 웹패널)을 예시로 든다. 특히 표본이 커질수록 이런 편향이 악화되는 경향이 있다는 이론·실증 연구(Meng 2018 등)를 인용한 대목은 '표본이 크니 괜찮다'는 통념에 대한 경고로 읽힌다. 제안된 통합 기법들의 공통 원리는 비확률 자료를 센서스나 확률표본처럼 대표성이 확보된 데이터와 결합하는 것인데, 이때 선택 메커니즘을 온전히 설명하거나 관심변수를 효과적으로 예측하는 가교(bridge) 변수가 있어야 한다는, 결코 가볍지 않은 가정이 성립해야 한다는 점을 분명히 한다.

9장. 분석 (Analysis)

분석계획 수립이 조사설계와 2차 분석을 어떻게 이끄는지에서 시작해, 표본설계를 반영한 추정(분산추정 방법 포함), 총계·평균·비율·분위수 같은 기술 모수, 하위집단 비교와 범주형 변수 간 연관성, 복합설계 자료에서 가중치를 반영한 선형·로지스틱 회귀까지 단계적으로 올라간다. 점추정치에 오차범위를 반드시 함께 제시하라는 원칙과, 불확실성을 함께 표현하는 데이터 시각화 관행이 강조된다.

표와 시각화에 각각 절을 배정한 점도 언급해 둘 만하다. 통계표의 구성 원칙과 함께, 그래프에서 추정치를 불확실성 표시와 같이 제시하는 방법이 다뤄진다. 오차범위 없는 점추정치의 나열이 조사 결과 보도의 흔한 관행이라는 점을 생각하면, 공식 지침이 이 부분을 명시한 것은 결과를 소비하는 쪽의 문해력에도 기준을 제공하는 셈이다.

마지막의 '앞으로의 과제' 절은 설계기반 추론의 한계를 인정하는 대목이다. 설계기반 접근은 모형 가정 없이 타당한 추론을 주지만 큰 표본을 요구하는데, 더 세밀하고 잦은 추정에 대한 수요가 커지면서 모형기반 추론, 비확률표본 추론, 소지역추정 같은 새 패러다임을 수용할 준비가 필요하다고 적었다. 공식통계의 보수적 문서치고는 솔직한 서술이다.

10장. 공표 (Dissemination)

조사 결과 공표의 원칙, 보고서·마이크로데이터 등 산출물 생성, 소통 전략과 이용자 관여, 산출물 활용도 추적을 다룬다. 신흥 접근으로 혁신적 데이터 상품과 활용 모니터링 기법이 소개되는데, 1장에서 예시로 든 통계청(Statistics Korea)의 온라인 마이크로데이터 분석 도구처럼 이용자가 데이터를 내려받지 않고도 분석 결과를 얻는 대화형 도구가 주목받는 사례로 언급된다. 공표를 보고서 발간으로 끝나는 일이 아니라 이용자와의 지속적 관계로 보는 시각이 이 장의 바탕에 깔려 있다. 기자 브리핑, 이해관계자 워크숍, 인포그래픽과 영상, 통계 문해력 교육까지가 공표 활동의 목록에 들어 있고, 산출물이 실제로 얼마나 어떻게 쓰이는지를 추적해 다음 기획에 반영하라는 권고로 이어진다. 비확률조사를 포함해 조사 품질의 한계를 이용자에게 어떻게 알릴 것인가라는, 1장에서 예고된 주제도 이 장에서 마무리된다.

4. 2부: 주제, 집단, 국가 특수성

2부(11~17장)는 특정 주제나 인구집단, 국가 여건에서 별도의 주의가 필요한 영역을 다룬다. 각 장은 1부에서 확립된 절차를 해당 영역에 적용할 때 무엇이 달라지는지에 집중하며, 대체로 1부보다 짧다. 주제 영역을 다루는 장(교육, 거버넌스·범죄피해, 노동, 자산), 모든 조사에 적용되는 원리를 다루는 장(젠더 관점), 특정 집단과 국가 여건을 다루는 장(강제이주민, 군소도서개발국)으로 성격이 나뉜다.

11장(교육 측정)은 가구조사를 교육통계의 보완적 또는 대안적 출처로 쓸 때의 설계 문제를 다룬다. 취학, 학력 수준의 측정 같은 기본 설계 이슈에 더해 직업훈련, 문해력과 ICT 스킬, 교육비 지출 같은 심화 주제를 안내하고, 수료율이나 학교 밖 아동 비율 같은 지표에서 조사자료와 행정자료의 통합이 갖는 중요성을 강조한다.

12장(거버넌스·범죄피해 측정)은 부패, 사법 접근성, 정치 참여, 신뢰, 공공서비스 효능, 범죄피해처럼 민감한 주제의 조사 설계를 다룬다. 다양한 이해관계자가 참여하는 폭넓은 협의 과정을 통해 적절성, 국가적 주인의식, 투명성을 확보하라는 권고와 함께, 정치적으로 민감한 데이터의 공표를 뒷받침하는 투명한 공표 프로토콜의 중요성을 별도로 논의한다. 조사 결과가 정부 자신에 대한 평가를 담게 되는 주제인 만큼, 발표 시점과 방식이 사전에 규칙으로 정해져 있어야 결과에 따라 공표가 좌우된다는 의심을 차단할 수 있다는 논리인데, 국내의 정책조사 실무에도 시사하는 바가 있는 대목이다.

13장(노동 측정)은 ILO 국제기준에 부합하는 노동력조사(LFS)의 방법론을 다룬다. 국제노동통계인총회(ICLS) 결의의 주요 내용, 설문 설계와 표본 전략, 가중 조정, 행정자료의 보조적 활용을 안내하고, 새 기준 도입 시 시계열 단절에 대한 오해를 막기 위한 소통 전략의 필요성을 논의한다. 기준 개정으로 지표가 움직였을 때 그것이 실체의 변화인지 측정의 변화인지를 이용자에게 설명하는 일이 통계기관의 책임이라는 시각이 담겨 있다.

14장(자산 측정)은 소득·소비 중심이던 경제적 후생 측정에서 자산이 갖는 보완적 가치를 다룬다. 순자산의 정의, 자산 항목과 분류, 수집 전략, 품질 이슈를 안내하는데, 고소득국 중심으로 발전해 온 자산조사 지침을 저·중소득국 여건에 맞게 조정한 최근 작업을 소개한 점이 눈에 띈다. 국가 간 마이크로데이터 비교가능성을 높이기 위한 기본·확장 수집항목 세트도 제시된다.

15장(젠더 관점의 주류화)은 여성 대상 조사만이 아니라 모든 조사에서, 기획부터 공표까지 데이터 가치사슬 전 단계에 걸쳐 젠더 이슈를 체계적으로 다루고 젠더 편향을 완화하는 방법을 안내한다. 표본설계에서 응답자 선정 규칙이 성별 대표성에 미치는 영향, 면접원 성별의 배치, 문항 표현에 스며드는 가정들처럼 조사 공정의 세부에서 편향이 생기는 경로를 단계별로 확인한다는 접근이며, 젠더 특화 조사가 아닌 일반 조사에 적용하라는 요구가 이 장의 요점이다.

16장(난민·국내실향민 조사)은 규모와 정책적 중요성이 커지는데도 조사에서 흔히 배제되는 강제이주민을 다룬다. 이주민의 정의와 분류, 캠프와 수용 지역사회의 표본 전략, 이주 식별·서류·정착 의향 관련 설문 설계, 그리고 면접원 선발과 훈련, 허가, 세이프가딩, 데이터 보호 같은 수집 단계의 윤리적 과제를 안내한다.

17장(군소도서개발국 조사)은 지리적 분산, 작은 인구, 환경 리스크, 제한된 기관 역량이라는 SIDS 특유의 조건에서 조사 관리, 설문 설계(기후변화 모듈 포함), 표본, 실사 물류, 그리고 비밀보호 위험 때문에 제약되는 공표 문제를 다룬다.

5. 책 전체에 반복되는 논점들

595쪽을 통독하지 않더라도, 몇 가지 논점이 여러 장에 걸쳐 반복된다는 사실은 알아둘 만하다.

첫째, 확률표본 원칙의 고수와 비확률표본에 대한 조건부 개방이 공존한다. 핸드북의 공식 입장은 확률표본과 설계기반 추론이지만, 1장, 8장, 9장이 각각 다른 각도에서 비확률표본을 다루는 데서 보듯 이 주제를 회피하지 않는다. 비확률 자료의 편향 구조를 설명하고, 큰 표본이 편향을 키울 수 있다는 연구를 인용하고, 그럼에도 확률표본이 불가능한 상황을 위한 데이터 통합 기법과 모형기반 추론을 신흥 접근으로 소개한다. 금지가 아니라 조건의 명시라는 태도다.

둘째, 혼합모드로의 이행이 기정사실로 다뤄진다. 일부 국가의 공식조사가 이미 혼합모드로 옮겨 갔다는 서술과 함께, 순차·동시 설계의 선택, 모드 효과의 관리, 모드 간 문항 동등성 확보, 모드를 가로지르는 표본·자료 관리 시스템 요건이 1장, 4장, 6장, 7장에 나뉘어 배치되어 있다. 혼합모드를 검토하는 조직이라면 이 네 장을 묶어 읽는 편이 낫다.

셋째, AI와 머신러닝이 특정 장이 아니라 전 공정에 스며 있다. 설문 문항의 개발·평가(4장), 기계번역 검수(4장), 개방형 응답 코딩(4장, 6장), 면접원 지원 챗봇과 코드 추천(6장), 패러데이터 기반 실시간 품질관리(6장), 자료처리 자동화(7장)까지 용례가 이어진다. 일관된 단서는 인간 검토의 병행이다. 기계번역은 반드시 사후 편집을 거치고, LLM 코딩은 인간 코딩을 보완하는 용도로 쓰고, AI 산출물은 학습데이터의 출처와 적용 대상의 일반화 가능성을 따져 보라는 권고가 반복된다.

넷째, 응답자 부담과 포용성이 설계 변수로 승격되어 있다. 이미 있는 데이터로 답할 수 있으면 조사를 하지 말라는 2장의 판단 프레임, 행정자료로 조사 문항을 대체해 부담을 줄인 캐나다 소득조사와 EU-SILC 사례, 배제 위험이 있는 하위집단의 목록화에서 시작하는 포용적 수집 절차가 그 예다. 대표성 있는 표본과 하위집단별 통계 생산이 포용적 수집 없이는 성립하지 않는다는 논리 구조가 반복적으로 등장한다.

다섯째, 품질을 사후 검증이 아니라 공정 내 관리로 다룬다. 6장의 생산 모니터링과 품질관리, 7장의 점검·편집 작업 전진 배치, 8장의 가중 단계별 진단, 그리고 여러 장에 등장하는 패러데이터의 활용이 같은 방향을 가리킨다. 수집이 끝난 뒤 데이터를 손보는 것이 아니라, 수집이 진행되는 동안 문제를 발견하고 개입할 수 있는 체계를 갖추라는 것이다. 여기에 머신러닝을 결합해 이상 데이터를 실시간으로 걸러내는 사례들이 신흥 접근으로 붙는다.

6. 어떻게 읽을 것인가

이 핸드북을 웹조사나 모바일 조사의 실무 지침서로 기대하면 얇다고 느낄 것이다. 서술의 기준선이 대면면접이고, 웹은 상대적으로 간략히, SMS·IVR·앱·화상면접은 신흥 접근 절에 짧게 배치되어 있다. 통신사 데이터베이스를 표집틀 삼아 문자로 조사 링크를 보내는 방식 같은 국내 실무의 구체적 형태는 본류로 다뤄지지 않는다. 국가통계기구가 1차 독자이고 개발도상국까지 포괄해야 하는 문서의 성격을 감안하면 자연스러운 배분이다.

대신 참조문서로서의 값어치는 상당하다. 몇 군데를 꼽자면 이렇다. 5장의 표집틀 논의는 전화번호틀과 복수 틀 결합을 포함해 틀 품질을 따지는 기준을 제공하므로, 어떤 조사의 표집틀이 무엇이고 그 커버리지가 어떤지 설명해야 할 때 기댈 만한 전거가 된다. 8장의 비확률표본 가중 논의는 옵트인 패널이나 자발적 참여 자료를 다루는 조사자가 자기 방법의 위치와 한계를 서술할 때 인용하기 좋다. 4장의 설문 설계와 번역 절차, 특히 MTPE 권고와 생성형 AI 활용의 단서 조항들은 AI를 조사 공정에 들이는 조직의 내부 기준을 세우는 데 참고가 된다. 그리고 1장의 모드 효과 정리는 혼합모드 조사의 결과 해석을 두고 발주처와 논의할 때 공통 언어가 되어 줄 수 있다.

역할에 따라 독서 경로를 달리 잡을 수도 있다. 조사 기획과 발주를 다루는 사람이라면 2장과 3장이 먼저다. 신규 조사 여부를 판단하는 프레임과 일정·예산·리스크 관리의 원칙이 담겨 있고, 과업지시서나 제안요청서의 요구 수준을 국제 기준에 비추어 볼 근거가 된다. 설문을 만드는 사람에게는 4장이 사실상 독립된 교과서 구실을 한다. 표본과 가중을 담당한다면 5장과 8장을 이어서 읽는 편이 좋은데, 틀의 품질이 가중 단계의 조정 여지를 규정한다는 연결이 두 장에 걸쳐 있기 때문이다. 실사 조직을 운영하는 사람에게는 6장의 훈련·모니터링·품질관리 절이, 결과 보고를 쓰는 사람에게는 9장의 오차범위 병기 원칙과 10장의 공표 원칙이 해당된다.

품질 서술의 전거로 쓸 수 있다는 점도 실무적으로 중요하다. 조사 제안서나 결과보고서에서 방법론적 선택을 정당화해야 할 때, 40년 만에 갱신된 유엔의 공식 지침을 인용할 수 있게 된 것이다. 특히 비확률표본의 한계 고지, 혼합모드의 효과 관리, 응답자 부담 최소화 같은 주제에서 이 문서의 문장들은 그대로 근거 문헌이 된다.

국내 조사 환경에 대입해 보면 흥미로운 대비가 생긴다. 이 핸드북이 기준선으로 삼는 대면면접 중심의 국가통계 조사는 한국에서도 통계청과 국책기관의 영역으로 남아 있지만, 민간과 공공 발주 조사의 상당 부분은 이미 전화조사와 웹·모바일 조사로 옮겨 온 지 오래다. 그 결과 국내 실무는 핸드북이 신흥 접근으로 분류한 방법들을 일상으로 쓰면서도, 그 방법의 이론적 정당화는 핸드북이 본류로 삼는 확률표본의 언어에 기대야 하는 위치에 있다. 이 간극을 메우는 데 이 문서가 쓸모 있다. 자기 방법이 확률표본의 이상에서 어디가 얼마나 떨어져 있는지, 그 거리를 어떤 설계와 보정으로 좁히고 있는지, 남는 한계를 어떻게 고지할 것인지를 서술하는 공통의 어휘를 제공하기 때문이다. 방법의 우열을 가리는 문서가 아니라 방법의 위치를 말하게 하는 문서로 읽으면 활용도가 커진다.

7. 맺으며

1984년판이 나온 뒤 40여 년 동안 조사 환경은 여러 번 바뀌었다. 전화조사의 전성기와 쇠퇴, 웹조사의 부상, 응답률의 장기 하락, 그리고 최근의 AI까지. 이번 핸드북은 그 변화를 확률표본과 설계기반 추론이라는 전통 위에서 소화하려는 시도다. 새 방법에 문을 열되 조건을 명시하고, 오래된 원칙을 지키되 그 한계를 인정하는 균형이 문서 전반에서 유지된다.

물론 최종 초안인 만큼 다듬어질 부분도 남아 있다. 장별로 문체와 상세도의 편차가 있고, AI 관련 서술은 출간 시점의 기술 상황에 묶여 있어 온라인 갱신이 실제로 얼마나 기민하게 이뤄지느냐가 문서의 수명을 좌우할 것이다. 신흥 접근 절의 내용 다수가 아직 권고라기보다 소개 수준이라는 점도 감안하고 읽어야 한다. 그래도 조사방법론의 국제 표준 문헌이 40년 치의 변화를 한 번에 반영해 갱신되었다는 사실 자체의 무게는 작지 않다.

최종 초안이 통계위원회에 제출되었고 온라인 플랫폼을 통한 갱신이 예고된 만큼, 앞으로 각 장의 신흥 접근 절이 어떻게 자라나는지 지켜보는 것도 이 문서를 읽는 한 방법일 것이다. 조사업에 몸담은 사람이라면 최소한 1장과 자기 업무에 해당하는 장 하나는 읽어 둘 만하다. 원문은 유엔 통계위원회 제57차 회기 문서 페이지에서 내려받을 수 있다.

결과표의 사례수, 실제로 조사한 사람 수를 적자

 

결과표의 사례수, 실제로 조사한 사람 수를 적자

가중 사례수만 적힌 결과표가 만들어내는 혼란에 대하여

조사 결과표에서 비율보다 먼저 읽어야 하는 숫자는 맨 윗줄의 사례수다. 그 셀의 수치를 얼마나 믿어도 되는지 알려주는 유일한 단서이기 때문이다. 그런데 정작 이 사례수가 실제로 조사한 사람 수인지, 가중치를 곱한 뒤의 숫자인지는 표만 봐서는 알기 어렵다.

우리나라 관행은 조사 종류에 따라 갈린다. 선거·정치 여론조사는 실제 사례수와 가중 사례수를 나란히 밝힌다. 중앙선거여론조사심의위원회 등록 규정이 가중 전후 사례수를 모두 공개하도록 요구하기 때문이다. 반면 사회조사, 정책조사, 만족도조사 등 대부분의 조사는 가중 사례수만 적는다. 방법론적 판단의 결과라기보다는, 규정이 없는 영역에서 통계 패키지가 뽑아주는 기본값이 그대로 관행이 된 경우에 가깝다.

결론부터 말하면, 결과표의 사례수는 실제 조사한 사람 수가 기본이 되어야 한다고 본다. 특히 제곱근 할당처럼 실제 표본과 가중 표본의 괴리를 일부러 크게 만드는 설계에서는, 가중 사례수만 적는 관행이 독자를 체계적으로 오도한다.

사례수는 두 가지 일을 한다

표 속의 사례수는 역할이 둘이다. 하나는 비율 계산의 분모다. 다른 하나는 그 비율이 얼마나 정밀한지 알려주는 신호다. 문제는 이 두 역할이 요구하는 숫자가 서로 다르다는 데 있다. 분모 역할만 생각하면 가중 사례수가 자연스럽다. 비율이 가중 데이터로 계산되니, 사례수도 가중 기준이어야 셀의 숫자를 곱해 인원수를 재구성할 수 있고 하위집단의 합이 전체와 맞아떨어진다.

그러나 신호 역할을 생각하면 답이 달라진다. 추정치의 오차를 결정하는 것은 실제로 몇 명이 응답했느냐다. 가중은 정보를 늘려주지 않는다. 늘리기는커녕 가중치의 편차만큼 분산을 키운다. 이른바 설계효과다. 그래서 가중 후의 유효 표본 규모는 실제 응답자 수보다 작아지는 것이 보통이다. 실제 40명을 가중해 90명으로 적는 표는, 40명만도 못한 정밀도를 90명짜리로 보이게 하는 이중의 과대표시가 된다.

국제 기준은 이 충돌을 역할 분담으로 정리했다. 비율은 모집단 값의 추정이므로 가중치를 적용하고, 사례수는 데이터의 실체를 보여주는 숫자이므로 실측을 적는다. 미국여론조사협회(AAPOR)의 공개기준은 보고서에 등장하는 하위집단 추정치마다 비가중 사례수를 밝히도록 명시하고 있고, 표본오차를 보고할 때는 가중에 따른 설계효과를 반영했는지까지 밝히라고 요구한다. 제3자가 유의성 검정을 다시 돌려보거나 특정 셀의 표본이 해석에 충분한지 판단하려면 실제 사례수가 있어야 한다는, 검증 가능성의 논리다.

실측 표기를 지지하는 근거는 하나 더 있다. 가중 사례수는 스케일 자체가 임의적이라는 사실이다. 가중치의 합을 응답자 수에 맞추면 1,000이 되지만, 모집단 수에 맞추면 4,300만이 된다. 같은 조사에서 어느 쪽으로 정규화하느냐에 따라 아무 숫자나 될 수 있는 값이다. 관례상 합을 응답자 수에 맞춰 놓아 실측처럼 보일 뿐이다. 반면 실제 사례수는 정의가 하나뿐이고, 누가 계산해도 같다.

제곱근 할당 조사에서 벌어지는 일

이 문제가 가장 날카롭게 드러나는 곳이 제곱근 할당이다. 17개 시도를 포괄하는 정부·공공 조사에서 표본을 인구에 비례해 배분하면 세종이나 제주 같은 작은 시도는 20~40명밖에 배정받지 못해 지역별 분석이 불가능해진다. 그래서 인구의 제곱근에 비례해 배분한다. 작은 시도를 일부러 더 조사하고, 큰 시도를 덜 조사한 뒤, 전국 수치를 낼 때 가중치로 인구 비례를 복원하는 설계다. 전국 3,000명 조사를 가정한 예시는 다음과 같다.

시도	인구 비중	인구비례 배분	제곱근 할당 (실제 조사)	가중 후 사례수	응답자 1인 가중치
세종	0.7%	21명	70명	21명	0.30
제주	1.3%	39명	92명	39명	0.42
서울	18.2%	546명	343명	546명	1.59
경기	26.6%	798명	415명	798명	1.92
…	…	…	…	…	…
전국	100%	3,000명	3,000명	3,000명	평균 1.00

표 1. 전국 3,000명 조사의 배분 예시(인구 비중은 예시값, 사례수는 반올림). 응답자 1인 가중치는 시도 내 균등 가정.

세종은 실제로 70명을 조사했지만 가중치 0.30이 곱해져 표에는 21명으로 찍힌다. 경기는 415명을 조사했는데 가중치 1.92가 곱해져 798명으로 부풀어 나온다. 가중 사례수만 적힌 결과표를 받아 든 독자의 판단은 정해져 있다. 세종 수치는 표본 20명대라 인용하기 어렵다는 판정을 받고, 경기 수치는 800명 가까운 탄탄한 결과로 대접받는다. 둘 다 틀렸다. 방향까지 반대로 틀렸다.

시도	실제 사례수 기준 오차	표기된 가중 사례수로 읽을 때	왜곡 방향
세종	70명, ±11.7%p	21명, ±21.4%p	정밀도 과소평가
경기	415명, ±4.8%p	798명, ±3.5%p	정밀도 과대평가

표 2. 95% 신뢰수준, 단순임의추출 가정의 최대 표본오차. 설계효과를 반영하면 격차는 더 벌어진다.

세종의 찬성률이 61.0%로 나왔다고 하자. 실제 근거는 70명, 오차 ±11.7%p짜리 추정치다. 그런데 표에는 21명으로 적혀 있으니 독자는 ±21.4%p짜리로 읽고 버린다. 작은 시도의 사례수를 확보하겠다고 예산을 들여 세 배 넘게 과대표집한 설계 의도가, 표기 관행 하나 때문에 표에서 지워지는 것이다. 반대로 경기는 실제보다 두 배 가까이 정밀해 보인다. 유의미하지 않은 차이가 유의미한 것으로 보고되는 경로다.

실무에서 겪는 혼란은 여기서 끝나지 않는다. 보고서 앞부분의 조사개요에는 지역별 실제 표본 수와 그 기준의 표본오차를 적어 놓고, 뒤의 결과표에는 가중 사례수를 적는 경우가 흔하다. 한 보고서 안에서 세종이 앞에서는 70명, 뒤에서는 21명이 된다. 발주처 담당자가 왜 숫자가 다르냐고 물으면 설명이 길어지고, 설명을 들어도 표를 읽을 때마다 환산이 필요하다. 소표본 셀에 음영을 넣거나 각주로 경고하는 관행도 실제 응답자 수 기준으로 만들어진 것인데, 가중 사례수 위에서는 이 경고선이 제대로 작동하지 않는다. 실제 70명짜리 셀이 21명으로 표기되어 불필요한 경고를 받고, 실제 25명짜리 셀이 가중으로 50명이 되어 경고 없이 통과하는 일이 동시에 일어난다.

정합성 반론에 대하여

가중 사례수 표기를 지지하는 논리가 없는 것은 아니다. 비율이 가중 데이터로 계산되므로 사례수도 가중 기준이어야 표가 안에서 맞아떨어진다는 정합성 논리다. 실측 사례수에 가중 비율을 얹으면, 70명의 61.0%는 42.7명이라는 어색한 계산이 나온다는 지적도 가능하다.

타당한 지적이지만, 각주 한 줄로 해소되는 문제다. 비율은 가중치를 적용한 값이고 사례수는 실제 응답 사례수라고 표 하단에 밝히면 된다. 표의 산술적 정합성을 지키자고 추정치의 신뢰도 정보를 지우는 것과, 각주 하나로 계산 방식을 밝히고 신뢰도 정보를 살리는 것 중 어느 쪽이 독자에게 이로운지는 자명하다. 사례수를 보고 독자가 내리는 판단은 이 수치를 믿을 것인가이지, 몇 명으로 나눴는가가 아니다.

이렇게 제안한다

첫째, 결과표 사례수의 기본값은 실제 응답 사례수로 한다. 표 하단에 고정 각주를 단다. 예를 들면 이렇게. "비율은 성·연령·지역 가중치를 적용한 값이며, 사례수는 실제 응답 사례수임."

둘째, 제곱근 할당처럼 실제와 가중의 괴리가 큰 설계에서는 두 사례수를 병기한다. 표기 순서는 실측을 앞에 두어 70(21)과 같이 적는다. 독자가 먼저 봐야 할 숫자는 실측이기 때문이다. 모든 배너에 병기하기 부담스러우면 전체와 지역 배너처럼 괴리가 큰 구간에만 병기하는 절충도 가능하다.

셋째, 소표본 경고는 실제 사례수 기준으로 건다. 실측 30명 미만 셀에 음영이나 별도 표시를 하고, 그 기준을 각주에 밝힌다.

넷째, 전국치처럼 가중치 편차가 큰 추정치에는 설계효과나 유효 표본 규모를 조사개요에 함께 적는 것이 정직하다. 제곱근 할당의 전국 추정치는 명목 3,000명보다 상당히 작은 유효 표본으로 계산된 값이다.

사례수는 조사 회사가 자기 데이터의 실체를 어디까지 보여줄 것인가의 문제다. 가중 사례수만 적힌 표는 거짓말은 아니지만, 독자가 가장 필요로 하는 정보를 가려 놓은 표다. 규정이 있는 정치조사만 병기하고 규정이 없는 사회조사는 생략하는 지금의 관행이야말로, 병기가 더 엄격한 규범이라는 사실을 스스로 인정하고 있는 셈이다.

웹조사에 응답률이라는 말을 쓸 수 있는가

웹조사에 응답률이라는 말을 쓸 수 있는가

조사에서 응답이 성립하려면 그 앞에 접촉이 있어야 한다. 전화조사는 일단 벨이 울리고 상대가 받아야 하고, 문자로 링크를 보내는 웹조사는 응답자가 QR 코드나 URL에 접근해야 한다. 둘 다 접촉이라고 부르지만 사건의 성질이 다르고, 그 차이 때문에 웹조사의 응답률은 전화조사와 같은 방식으로 계산되지 않는다.

접촉이라는 사건의 성질

전화조사에서 접촉은 응답자가 수동적으로 겪는 일이다. 벨이 울리고 받으면 접촉이 성립한다. 받는 순간에는 아직 조사에 협조할지 말지를 결정하지 않은 상태다. 그래서 접촉 이후에 협조를 설득할 시간이 따로 생기고, 면접원은 거절 직전의 응답자를 붙잡는 회복 절차를 쓸 수 있다.

문자 발송형 웹조사는 다르다. 응답자가 URL을 누르는 행위 자체가 이미 협조의 시작이다. 문자를 읽고 참여할지 판단한 뒤에 링크를 누르기 때문에 접촉과 협조가 한 동작에 겹쳐 있다. 둘을 갈라서 따로 관리할 여지가 없다.

실무에서는 이것이 설득 자원을 전부 발송 시점에 선지급해야 한다는 뜻이 된다. 발신번호의 신뢰도, 주관기관과 조사기관 표기, 인센티브 안내, 소요시간 고지를 문자 몇 줄에 다 넣어야 하고, 발송 이후에는 리마인더 재발송 말고 개입할 수단이 없다. 대신 문자는 전화처럼 접촉 기회가 그 자리에서 소멸하지 않는다. 수신함에 남아 있어서 응답 도착이 며칠에 걸쳐 늘어지고, 이 성질은 실사 운영에 유리하게 작동한다.

처리결과 코드가 채워지지 않는다

응답률 계산의 재료는 사례별 처리결과 코드다. 전화조사와 방문면접조사는 완료, 부분응답, 거절, 중단, 부재중, 통화중, 결번, 적격 여부 불명이 각각 코드로 남는다. 응답률 산식이 여러 갈래로 나뉠 수 있는 것도 이 분류표가 채워지기 때문이다.

문자 발송형 웹조사는 이 표가 거의 비어 있다. 통신사가 회신하는 도달 확인은 단말기에 메시지가 들어갔다는 뜻이지 사람이 그것을 읽었다는 뜻이 아니다. 열람 여부를 알 수 없으니 문자를 못 본 사람과 보고 무시한 사람을 구분할 방법이 없다. 조사 시스템의 로그는 링크 진입 이후부터만 잡힌다. 그 앞의 사건은 전부 무반응이라는 하나의 상태로 뭉쳐진다.

접촉률과 협조율을 나눌 수 없다

AAPOR 정의에서 접촉률은 접촉이 성립한 사례를 적격 표본으로 나눈 값이고, 협조율은 접촉이 성립한 사례 가운데 응답을 완료한 비율이다. 웹조사에서는 분자와 분모가 함께 흔들린다. 분자인 접촉 성립을 확인할 수단이 없고, 분모인 적격 여부도 응답을 시작한 사람에 대해서만 사후에 확인된다. 결번, 해지, 기기 미사용, 스팸 차단으로 걸러진 건이 전부 미응답과 섞여 들어간다.

그래서 현장에서 쓰는 지표는 발송 대비 응답 하나로 수렴한다. 이 값은 접촉률과 협조율을 곱한 결과이지 전화조사에서 말하는 응답률과 같은 것이 아니다. 웹패널 업계가 참여율(participation rate)이라는 별도 용어를 두고 응답률과 구분하는 이유도 여기에 있다.

대리지표로 근사해 볼 수는 있다. 통신사 발송 실패 코드로 분모를 정리하고, 링크 클릭은 했으나 첫 문항에서 이탈한 건을 접촉 후 거절로 잡는 방식이다. 다만 이렇게 얻은 값은 접촉률의 하한선일 뿐이다. 문자를 보고 그냥 지운 사람은 여전히 잡히지 않는다.

URL 접근자를 분모로 삼자는 주장

접촉률을 아예 URL 접근자 기준으로 정의하자는 의견이 있다. 링크에 들어온 사람을 접촉된 사람으로 보자는 것인데, 이렇게 하면 값이 지나치게 높아진다.

전화에서 접촉은 응답 의사와 무관하게 발생한다. 벨을 받는 순간에는 아직 판단이 들어가지 않았다. 반면 URL 클릭은 참여를 한번 고려한 뒤의 행동이다. 자기선택이 한 차례 걸러진 집단을 분모로 삼으니 그 뒤의 협조율이 90퍼센트를 넘는 것이 당연하다. 그 숫자를 전화조사 협조율 옆에 놓으면 비교가 성립하지 않는다.

기술적 잡음도 분모를 부풀린다. 메신저나 문자 앱이 링크 미리보기를 만들려고 자동으로 접속하는 경우, 기업 보안 솔루션의 URL 검사, 같은 사람의 중복 클릭이 모두 들어간다. 반대로 클릭 직후 첫 화면에서 나가는 이탈은 접촉 후 거절로 처리된다. 분모는 부풀고 분자 기준은 느슨해지는 방향으로 함께 어긋난다.

클릭 기반 수치는 접촉률이라고 부르지 않는 편이 낫다. 링크 진입율과 진입 후 완료율은 발송 문구나 첫 화면 설계를 수정하는 데 쓰는 운영지표로 두면 된다. 접촉률이라는 이름을 붙이는 순간 AAPOR 정의를 끌어다 붙일 수 있는 것처럼 보이는데, 정작 그 정의의 전제인 응답 의사와 독립된 접촉이 웹에는 없다.

웹조사 응답률의 산식과 표기

남는 것은 발송인원 대비 응답을 완료한 인원의 비율이다. 단순하지만 방어 가능한 산식은 이것뿐이다. 다만 정의를 붙일 때 미리 정해둘 것이 있다.

분모에서 무엇을 뺄지가 먼저다. 통신사 발송 실패 코드로 확인되는 결번, 해지, 수신거부는 적격 표본이 아니므로 제외하고, 확인되지 않는 나머지는 그대로 둔다. 이 원칙을 정해두지 않으면 같은 조사에서 발송량 기준과 도달량 기준의 두 수치가 동시에 돌아다니게 된다.

분자의 완료 기준도 사전에 고정해야 한다. 부분응답을 어디까지 완료로 인정할지, 주요 문항까지만 답하고 이탈한 건을 포함할지를 실사 시작 전에 정해야 사후에 유리한 쪽으로 기준이 움직이지 않는다.

할당 마감으로 참여가 차단된 응답자는 따로 처리한다. 이들은 협조 의사가 있었는데 조사 쪽 사정으로 막힌 경우이므로 미응답과 같이 묶으면 안 된다. 별도 코드를 부여해 분모에서 제외하거나, 최소한 별도로 표기한다.

이렇게 계산한 값은 전화조사 응답률보다 훨씬 낮게 나온다. 보고서에는 산식을 각주로 달고, 전화조사 응답률과 직접 비교할 수 있는 지표가 아니라는 단서를 함께 넣어두는 것이 안전하다.

AAPOR RR1부터 RR6까지의 구조

전화조사와 면접조사의 응답률 산식이 여섯 개로 나뉘는 것은 복잡해 보이지만 선택지는 두 가지뿐이다. 하나는 부분응답을 분자에 넣을 것인가이고, 다른 하나는 적격 여부를 알 수 없는 사례를 분모에서 어떻게 다룰 것인가다. 앞의 선택이 두 갈래, 뒤의 선택이 세 갈래여서 여섯 개가 나온다.

산식 분자에 부분응답을 넣는가 적격 여부 불명 사례를 어떻게 다루는가

RR1 완료만 전부 적격으로 간주해 분모에 남김

RR2 완료와 부분응답 전부 적격으로 간주해 분모에 남김

RR3 완료만 적격률 추정치 e를 곱해 일부만 분모에 남김

RR4 완료와 부분응답 적격률 추정치 e를 곱해 일부만 분모에 남김

RR5 완료만 전부 비적격으로 간주해 분모에서 제외

RR6 완료와 부분응답 전부 비적격으로 간주해 분모에서 제외

RR5와 RR6은 미확인 사례가 거의 없거나 전수 확인이 이루어진 조사에서만 정당화된다. 어느 산식을 썼는지 반드시 밝히라는 규칙이 붙는 것도 가정에 따라 값이 이렇게 달라지기 때문이다.

웹조사에는 이 여섯 갈래가 없다. 무반응 하나에 거절, 비접촉, 부적격이 모두 들어 있어서 고를 정보 자체가 없다. 미확인 사례를 전부 분모에 남기는 처리를 강제로 택하는 셈이고, 형태로 보면 가장 보수적인 RR1과 같아진다. 웹의 산식이 단순한 것은 방법이 깔끔해서가 아니라 선택할 재료가 없어서다. 이 차이를 기록해 두면 값이 왜 낮은지도 함께 설명된다.

RR1은 깔끔한가

RR1은 추정을 전혀 쓰지 않는다. 기관마다 값이 달라질 여지가 없어서 비교에는 가장 안전하다. 대신 하한선이다. RDD 전화조사는 미확인 번호 가운데 결번, 팩스, 사업장 번호가 상당히 섞여 있는데 이것을 전부 적격 가구로 계산하면 응답률이 실제보다 낮게 찍힌다. 그래서 전화조사 관행은 적격률 e를 추정한 RR3를 주로 쓰고 RR1을 함께 표기하는 쪽이다.

웹조사의 발송 대비 완료는 RR1과 형태만 닮았다. RR1은 미확인 사례를 적격으로 간주하겠다고 선택한 결과이고, 웹은 확인할 수단이 없어서 그렇게 된 것이다. 표본틀도 다르다. 통신사 마케팅 수신동의 가입자 데이터베이스는 회선 가입자 기준이라 가구 표본틀과 성격이 같지 않다. 두 값이 같은 자리에 놓인다고 해서 같은 의미를 갖지 않는다.

가상번호를 쓰는 정치조사

공표용 선거 여론조사에 제공되는 통신사 가상번호는 사정이 다르다. 실제 사용 중인 가입자 회선만 추출해서 주기 때문에 결번, 팩스, 사업장 번호가 표본에 들어오지 않는다. RR1과 RR3를 가르는 것이 미확인 사례의 적격률 e인데, 그 미확인 덩어리가 거의 없으니 e가 1에 가깝고 두 값이 붙는다. 추정치를 따로 만들 실익이 없다.

남는 불확실성은 명의자와 실사용자가 다른 경우다. 법인 명의나 가족 명의 회선이 섞이고, 통신사에 등록된 주소와 실제 거주지가 달라 지역이나 연령 할당에서 걸러지는 건이 나온다. 다만 이것은 스크리닝 문항으로 확인되어 비적격으로 코딩되고 분모에서 빠진다. 미확인 상태로 남는 것이 아니라서 RR1 계산을 흔들지 않는다.

더 신경 쓸 부분은 분모의 범위다. 정치조사는 할당이 차면 남은 표본을 투입하지 않고 종료하는데, 미투입분까지 분모에 넣으면 응답률이 실제보다 낮아진다. AAPOR 기준은 실제로 투입한 표본이므로 미사용분은 제외하는 것이 맞다. 이 처리만 일관되면 RR1으로 정리해도 무리가 없다.

한 가지 덧붙이면 여론조사심의위원회 등록용 응답률 산식은 AAPOR 정의와 그대로 겹치지 않는다. 공표용 수치와 내부 관리용 수치를 따로 두고 각각 무엇을 계산한 값인지 기록해 두는 편이 안전하다.

가상번호는 심의를 거친 공표용 선거·정치 여론조사에 한해 제공되고 전화조사에만 사용할 수 있다. 문자를 보내 모바일 웹으로 응답을 받는 조사에는 쓸 수 없으므로, 앞에서 다룬 문자 발송형 웹조사와 같은 조건으로 놓고 비교해서는 안 된다.

표기 원칙

웹조사는 발송인원 대비 완료 인원이라는 하나의 값을 쓰되, 그 값에 응답률이라는 이름만 붙여 내보내지 않는 것이 좋다. 산식을 함께 적고, 분모에서 제외한 사례가 무엇인지 밝히고, 완료로 인정한 기준을 명시하고, 전화조사 응답률과 등가로 읽을 수 없다는 단서를 남긴다.

웹조사의 낮은 응답률 자체는 감출 일이 아니다. 어떤 정보를 확보할 수 없는 조건에서 나온 값인지를 밝히는 것이 표기의 목적이고, 그 기록이 남아 있어야 나중에 다른 모드의 수치와 나란히 놓였을 때 설명이 가능하다.