AAPOR 서베이 비용 워크숍 백서 요약

 

조사 비용을 정면으로 다루다

AAPOR 서베이 비용 워크숍 백서 요약

Kristen Olson·James Wagner 외, 「Survey Costs: Summary and Commentary from the 2026 Survey Costs Workshop」, 2026년 7월

 

워크숍 배경

조사 설계에서 비용은 가장 강한 제약 조건 가운데 하나다. 어떤 자료수집 모드를 쓸지, 어떤 표본설계를 택할지, 추정 방법과 보고 방식을 어떻게 정할지가 모두 각 선택지의 비용과 가용 예산에 좌우된다. 그런데 조사 방법론 연구는 그동안 총조사오차(Total Survey Error) 틀 아래 오차를 다루는 데 집중해 왔고, 비용 자체를 정면으로 분석한 연구는 드물었다. 비용이 논의에 등장하더라도 품질의 한 차원이나 효율성을 재는 지표 정도로 다뤄졌을 뿐, 비용 구조 그 자체를 검토하는 경우는 많지 않았다.

이런 문제의식에서 2026년 2월 9일부터 10일까지 미국 메릴랜드주 베데스다의 웨스탯(Westat) 사옥에서 서베이 비용 워크숍이 열렸다. AAPOR(미국여론조사협회), 미국통계협회(ASA), 웨스탯, SSRS, Miravoice, 국제조사통계학회(IASS)가 후원했고, 조사 실무자와 방법론 연구자, 통계학자, 현장 실사 담당자, 재무·회계 담당자 등 약 100명이 이틀간 참여했다. 첫날은 용어 정의에 관한 개막 강연에 이어 전체 패널 토론과 두 세트의 전체 발표가 진행됐고, 둘째 날은 네 개씩 동시에 열린 발표 세션 두 세트와 마무리 정리·브레인스토밍 세션으로 채워졌다.

이 백서는 발표와 토론의 주요 내용을 정리하고 조직위원회의 권고를 담은 문서다. 비용을 주제로 한 본격적인 논의로는 2006년 Karr와 Last의 워크숍 보고서 이후 약 20년 만이다. 백서는 기존 문헌을 총망라하기보다 이번 워크숍의 발표와 토론에 집중했으며, 여러 조직의 독점적 비용 구조가 드러나지 않도록 유의하면서 조사와 조직을 넘어 공유될 수 있는 개념과 방법을 정리하는 데 목적을 두었다.

10가지 주요 결론

백서는 워크숍에서 도출된 결론을 열 가지로 정리했다. 본문에 앞서 먼저 훑어두면 전체 논의를 따라가기 쉽다.

            1. 비용 보고는 어떤 종류의 비용(고정비인지 변동비인지, 화폐 비용인지 비화폐 비용인지)을 보고하는지, 자료 출처는 무엇인지, 어떤 구성요소가 포함됐는지, 총비용과 상대비용 계산에 쓰인 입력값을 어떻게 정의했는지, 고정비·인프라비·변동비의 기여에 관해 어떤 가정을 세웠는지를 투명하게 밝혀야 한다.

            2. 연구와 설계요인을 비교할 수 있도록 여러 비용 지표에 대한 일관된 정의가 분명히 필요하다.

            3. 조사 비용은 설계와 생산 전 과정에 걸친 중요한 요인이다. 비용은 자료수집 단계에 그치지 않고 통계 생산 시스템 전반에 퍼져 있다. 신규 자료수집 기획, 예산 개발, 과거 비용자료의 평가와 조정, 설계 결정, 실사 모니터링, 자료 처리와 보고가 모두 여기 포함된다.

            4. 비용 모니터링은 중요하지만 그 방식은 조직마다 크게 다르다. 서로 다른 관행과 행정 시스템이 각기 다른 비용 정보를 보유하고, 비용이 다양한 수준으로 기록되며, 조직마다 분류가 다르고, 일부 비용은 온전히 집계하기 어렵다는 점이 모니터링을 복잡하게 만든다.

            5. 설계요인은 비용과 응답률을 비롯한 오차 대리지표에 함께 영향을 준다. 그 영향의 크기는 연구마다 크게 다른데, 비용의 정의나 오차지표가 서로 다른 데서 오는 차이도 있다. 설계요인, 대상 모집단, 실행 결정은 서로 상호작용하며 환경·상황 요인의 영향을 받는다.

            6. 설계요인과 환경 요인을 비용과 오차 양쪽에 연결하는 구체적인 통계모형을 세우는 일이 다음에 필요한 단계다.

            7. 관측된 비용자료에는 측정오차가 있을 가능성이 크다. 실제 비용을 체계적으로 과대 또는 과소평가하는 편의 오차일 수도, 연구마다 방향이 달라지는 변동 오차일 수도 있다. 비용자료가 어떤 수준에서 기록·저장되는지를 이해하면 그 오차가 정보의 용도 적합성을 해치는지 판단하는 데 도움이 된다.

            8. 측정오차 가능성을 아는 것은 중요하지만, 완벽하게 측정된 비용정보를 기다린 뒤에 평가와 추정, 모형화를 시작할 필요는 없다. 더 나은 자료가 확보되면 모형을 다시 검토하면 되고, 그 전까지는 민감도 분석으로 결과의 견고함을 확인할 수 있다.

            9. 특히 하위집단과 자료수집 단계별로 비용을 이해하고 예측하는 데는 여러 어려움이 있다. 기존 비용자료에는 활용을 제약하는 한계가 있으므로 불확실성을 인정하고 가능한 한 추정에 반영해야 한다. 자료 출처의 종류, 확률·비확률 표본, 연구 복잡도에 따라 달라지는 비용 동인, 특히 통계 모형화 전문성과 관련된 비용은 아직 잘 밝혀져 있지 않다.

            10. 조사, 나아가 통계 생산 시스템의 가치는 수집된 자료의 비용을 넘어선다. 조사 연구의 가치는 당장의 유용성과 함께 더 넓고 장기적인 사회적 편익의 관점에서 보아야 한다.

 

비용을 말하는 공통 언어

워크숍은 참여자들이 같은 언어로 대화할 수 있도록 비용 관련 용어를 정리하는 데서 출발했다. 먼저 비용 정보의 종류를 화폐 비용과 비화폐 비용으로 나눈다. 화폐 비용은 통화 단위로 측정되고, 비화폐 비용은 접촉 시도 횟수나 발송 건수 같은 현장 노력, 또는 직원 노력(상근 환산 인원, 면접원 시간, 이동 거리 등)으로 측정된다.

측정 척도와 단위도 연구마다 다르다. 비용은 총액으로 보고할 수도 있고, 상대 지표로 보고할 수도 있다. 상대비용에는 표본 단위당 비용, 완료 사례당 비용(응답자당 또는 면접당 비용), 전년도 대비 비용, 기대 기준선 대비 비용, 특정 설계요인이 차지하는 비용 비율 등이 있다.

자료 출처에 따라서도 비용은 달라진다. 추정 비용은 자료수집 전 예산에서 나와 설계 목적으로 가정한 값이고, 관측 비용은 회계·급여·패러데이터 등 기록 시스템에서 분석용으로 확보되는 값이며, 실제 비용은 조사를 설계·수행·처리하면서 실제로 발생한 값이다. 세 값이 어긋나는 이유는 여러 가지다. 어떤 조직은 회계 시스템이 프로젝트별 또는 업무 단계별로 작업을 구분하지 못하고, 어떤 조직은 주 40시간을 넘겨 일해도 그 이상은 청구하지 못하게 하며, 어떤 조직은 업무별로 청구 가능한 시간에 상한을 두어 실제 소요 시간이 더 걸려도 반영하지 못한다. 수집된 비용 정보가 조직 안에서 부서 간에 공유되지 않아, 어딘가에는 관측·실제 비용이 있는데도 추정 비용을 쓸 수밖에 없는 경우도 있다.

설계요인을 어디까지 포함하느냐에 따라서도 비용은 달라진다. 인쇄, 우편료, 자료 입력, 인센티브, 면접원 이동 시간, 질문지 설계에 든 연구자 시간, 표본설계에 든 통계 담당자 시간처럼 단일 요인 하나를 담는 비용을 조사 구성요소(survey component)라 부른다. 여러 구성요소를 합친 집계 비용을 보고하기도 하는데, 무엇을 합쳤는지 밝히는 경우도 있고 그저 '자료수집' 비용이라고만 적는 경우도 있다.

구성요소는 인프라 비용, 고정비, 변동비의 세 범주로 나뉜다. 인프라 비용은 조직과 여러 연구를 뒷받침하기 위해 드는 비용으로 특정 연구에 국한되지 않는다. 소프트웨어와 장비, 비프로젝트 인건비, 건물 유지비 등이 여기 속하며 여러 연구에 걸쳐 상각하거나 다른 방식으로 충당한다. 고정비는 특정 연구에 드는 비용이지만 자료수집 노력이나 표본 크기가 늘어도 직접 늘어나지는 않는다. 대개 인건비이지만 특정 연구용으로 구매한 소프트웨어나 장비일 수도 있다. 변동비는 특정 연구에 들면서 자료수집 노력이나 표본 크기에 따라 어느 정도 늘어나는 비용으로, 인건비, 이동비, 소모품비, 인센티브비 등이 있고 우편 요금처럼 외부에서 정해지기도 한다.

워크숍에서 여러 참여자가 강조한 어려운 문제 하나는 이 세 범주로 비용을 나누는 일이 개념상으로는 쉬워 보여도 실제로는 그렇지 않다는 점이다. SHARE(유럽 고령화·은퇴 조사)의 사례가 이를 잘 보여준다. 이 조사에서는 벤더들에게 표준 양식으로 예산 항목을 제출하게 하고 각 항목을 '고정'인지 '변동'인지 지정하도록 했는데, 28개국의 계약을 분석해 보니 11개 항목 가운데 모든 벤더가 일치한 항목은 단 하나뿐이었다. 같은 조사 시스템, 같은 계약 방식 안에서도 무엇이 고정비이고 무엇이 변동비인지에 대한 판단이 그만큼 엇갈렸다는 뜻이다.

고정비와 인프라 비용을 구분하는 것도 유용하다. 로고 디자이너를 고용하는 비용처럼 프로젝트에 청구되지만 표본 크기와 무관한 것이 고정비라면, 소프트웨어 라이선스처럼 여러 연구에 상각되며 특정 프로젝트에 직접 청구되지 않는 것이 인프라 비용이다. 여러 참여자가 특히 분류하기 까다롭다고 꼽은 항목은 제안서와 계약을 개발·이행하는 비용이었다. 이 작업에는 조직 내 여러 부서의 기술 전문성이 필요하지만 직접 프로젝트 비용으로 잡히지 않고, 계약 협상은 조직 간에 몇 달에서 몇 년까지 걸리기도 한다.

이런 이질성을 확인하면서 참여자들은 어떤 형태로든 보고의 표준화와 투명성이 필요하다고 입을 모았다. 당장 시작할 수 있는 일은 각 조직과 연구자가 이 용어들을 자기 방식으로 명확히 정의하고, 화폐든 비화폐든 보고 비용에 무엇이 포함되고 무엇이 빠졌는지 구체적으로 밝히는 것이다. 참여자들은 또한 고정비가 조사 예산의 큰 부분을 차지하는데도 발표된 연구와 모니터링 시스템 대부분이 자료수집과 관련된 변동비만 다뤘다는 점을 지적했다. 고정비를 모니터링하고 보고해야 그 중요성을 평가하고 고정비와 변동비 사이의 교환관계를 다룰 근거가 생긴다.

비용 정보는 어디에 쓰이나

워크숍 참여자들은 비용 정보의 여러 용도를 이야기했다. 신규 자료수집 시스템 기획, 특정 조사 예산 편성, 개별 설계 결정에 쓰이고, 고객 청구와 기관 회계에도 쓰인다. Eltinge는 조사 비용을 통계 생산 생태계 안에 존재하는 것으로 보았다. 이 관점에서 보면 완료 사례당 비용처럼 자료수집 모니터링에 흔히 쓰이는 지표는 설계에서 생산에 이르는 생산 전 과정, 조사 자료와 비조사 자료를 포괄하는 비용 동인의 넓은 폭을 담아내지 못한다.

대규모 신규 시스템을 기획할 때 비용이 쓰인 사례가 있다. Wong은 새 출생코호트 연구를 위해 여러 벤더를 계약하면서 '오픈북 회계(open-book accounting)' 방식을 도입했다. 벤더들이 가구당 비용 같은 화폐 지표와 면접 길이, 현장 투입 표본량 같은 비화폐 지표를 고객과, 그리고 서로 공유하기로 합의해 고객이 벤더와 자료수집 과정 전반의 비용을 더 잘 관리할 수 있게 했다.

예산 개발 단계에서는 과거 조사나 유사 프로젝트의 비용자료를 필요에 맞게 조정해 예산을 추정했다. Keppenne 등은 소모품, 인프라, 자료수집 노력, 인건비에 대한 가정을 과거 연구에서 뽑아 넣은 엑셀 기반 예산 도구를 소개했다. 조직 구성원 누구나 일관된 기준 가정으로 예산을 짤 수 있게 한 것이다. Jackson 등은 대형 조직에서 여러 독립 팀의 비용 정보와 가정을 모아 초기 예산을 만든 뒤 프로젝트팀 전체가 예산과 그 밑에 깔린 가정을 함께 검토해 조정하는 과정을 소개했다. 과거 정보와 팀원의 실시간 지식을 결합해 현실성 있는 예산을 만드는 방식이다.

과거 비용자료로 현재와 미래 조사를 예산화할 때 물가 상승, 무응답 증가, 사업 범위의 불확실성 같은 변수를 다루는 어려움도 논의됐다. Wong의 연구는 일부 비용 동인에 대해 단일 예산 수치 대신 구간 형태의 '비용 허용범위(cost tolerance)'를 설정하고 예비비를 전략적으로 관리하는 방안을 택했다. Miladi와 Holmes는 프로젝트 관리·프로그래밍·보고 인력 수요와 관련된 기술복잡도 요인, 자료수집의 어려움과 관련된 현장난이도 요인, 자료수집을 얼마나 빨리 끝내야 하는지와 관련된 일정압박 요인을 예산의 승수와 연결해 불확실성과 제약을 비용에 반영했다.

설계 단계에서 비용 정보는 모드 선택, 표집틀, 면접원 교육, 표본 배분, 적응설계, 중단규칙을 정하는 데 쓰였다. 자료수집에 직접 관련된 변동비에 집중한 발표가 많았지만, 기획·설계 단계에서 고정비와 인프라 비용을 함께 고려한 사례도 있었다. 예컨대 어느 종단 조사의 대면 사전조사에서 면접 시간 외에 행정 시간, 생체시료·장비 관리, 종단 응답자와의 소통, 교육과 모니터링에 상당한 비용이 든다는 점이 드러났고, 이는 일부 사례의 모드를 대면에서 전화로 바꾸는 등 설계 자체를 크게 다시 짜는 계기가 됐다.

모니터링 단계에서도 비용이 쓰였다. Edwards는 패러데이터, 급여, 회계 시스템 등 여러 출처를 입력으로 삼는 종합 비용 모니터링 시스템 구축을 소개했는데, 이런 시스템은 상당한 IT 지원이 필요해 주로 대형 조직에서 구현된다. 반면 Shuttles는 소규모 조직도 엑셀로 구현할 수 있는 모니터링 방식을 제시했다. 자료수집 전에 모니터링 계획을 세워, 이를테면 현장 기간의 50%가 지났는데 예산의 60%가 집행됐다면 이것이 예상 범위인지 점검하는 식으로 소수의 화폐 비용 항목을 예산 배분과 비교하는 방법이다. 자료 처리와 보고 단계의 비용도 논의됐는데, 혼합모드 조사는 자료 처리와 가중치 부여 등 사후 단계 비용이 늘어나고, Kaye의 분석에서는 비확률 패널이나 오픈링크 조사가 명단 기반 조사보다 자료 관리·준비·처리에 훨씬 큰 비용이 들었다.

예산·회계 시스템과 소프트웨어

여러 발표가 비용 회계 시스템과 소프트웨어를 다뤘다. 기성 솔루션만으로는 조사 조직의 필요를 채우지 못해, 많은 조직이 시스템을 어느 정도 개조하거나 확장해 쓰고 있었다. 엑셀 같은 스프레드시트에 사용자 정의 함수를 얹어 비용 추정을 처리하는 조직도 있었고, AI를 넣어 잠재적 결과를 시뮬레이션하는 비교적 고급 솔루션을 쓰거나 준비하는 조직도 있었다.

조직들이 답하기 어려워한 문제는 이런 도구 개발에 시간과 돈을 얼마나 들일 것인가였다. 최적의 투자 수준을 찾기는 어렵다는 것이 참여자들의 생각이었다. 다만 비용 정보가 부족한 조직에서는 비용자료를 쉽게 확보할 수 있는 시스템 개발에 더 투자하면 성과가 있으리라는 의견이 나왔다. Stepler의 사례가 이를 보여주는데, 상세한 비용 정보가 있던 인센티브 실험과 정보가 극히 제한적이던 실험을 비교한 결과 후자는 시범조사의 비용 정보로 본조사를 결정하기가 어려웠다.

비용 모니터링은 대시보드로 구현되기도 한다. 대시보드는 개발에 상당한 시간과 자원이 들어 주로 대형 조직에서 만들어지며, 프로젝트 단위로 화폐·비화폐 비용을 모니터링한다. 현장 면접원을 겨냥한 대시보드는 개별 면접원, 표본 라인, 면접원 업무량 수준까지 비용을 볼 수 있게 한다. R Shiny 같은 기존 통계 소프트웨어로 만든 곳도 있고 여러 출처와 분석 도구를 끌어모은 자체 시스템을 만든 곳도 있었으며, 스프레드시트로 만든 비교적 단순한 도구도 있어 초기 투자 부담이 적었다.

많은 조직에서 비용 정보는 표본 관리 시스템과 분리된 곳에 저장돼 있었다. 비용(시간과 금액)과 생산(발송 건수, 시도 횟수, 완료 건수) 자료를 결합하려면 두 출처에서 각각 추출해 합쳐야 하는데, 이 단절이 비용과 노력 자료를 잇기 어렵게 만든다. 게다가 정보가 접촉 시도 단위, 면접원 단위, 면접원-일 단위, 사례 단위 등 서로 다른 수준으로 저장돼 있어 분석과 연결을 더 복잡하게 한다. 특히 대면조사가 이 문제를 크게 겪는데, 면접원이 급여용 시스템에 기록한 시간이 특정 사례의 시도와 직접 연결되지 않아 두 자료를 잇자면 어느 한쪽을 집계해야 한다. 비용 정보가 생산 모니터링 도구로 곧바로 흘러드는 '닫힌' 시스템은 드물었고, 많은 조직이 노력 수준을 화폐 비용의 비화폐 대리지표로 삼고 있었다.

소프트웨어뿐 아니라 예산 과정을 위한 팀 구성에 집중한 발표도 있었다. 이런 팀은 영업, 프로젝트 관리, 방법론, 표집, 운영, 자료 처리, 행정 등 여러 기능 부서의 대표로 이뤄졌고, 각 부서의 참여가 소통을 돕고 예산 추정과 일정의 정확도를 높였다. 정확한 비용 추정에는 좋은 소프트웨어 이상이 필요하다는 것, 즉 효과적인 비용 추정을 위해 인력을 어떻게 조직할 것인가가 조직들에게 중요한 물음으로 떠올랐다.

설계요인이 비용에 미치는 영향

조사 비용의 여러 동인은 구체적인 설계 선택과 이어져 있다. 이 연결을 분명히 하면 비용 고려를 설계 초기에 넣어 더 나은 교환관계 판단을 도울 수 있다. 발표들은 여러 설계요인이 비용에 미치는 영향과 그 상호작용, 측정과 모형화의 복잡함을 다뤘다. 상대비용 형태로 직접 측정치를 보고하기도 했지만 '모드 A가 모드 B보다 비싸다'는 식으로 넓게 논의한 경우가 많았고, 응답률과 표본 구성, 설계효과 같은 오차지표와 연결되기도 했다.

표본설계는 비용에 큰 영향을 준다. 잘 정립된 표본설계 비용모형에서 보듯 자료수집 변동비의 일부는 표본이 커지면 선형으로 늘어난다. 하지만 워크숍 발표들은 이런 단순 모형을 넘어서는 사례를 보여줬다. 특정 하위집단을 과대표집하면 분석 정밀도는 높아지지만 그 집단이 접촉하기 어렵거나 모집에 더 큰 노력이 든다면 비용이 오른다. 지리적 군집화는 면접원 조사의 운영비를 줄이지만 통계 효율과 교환관계를 만든다. DeMatteis와 Cook은 다단계 설계에서 카운티 기반과 센서스 트랙 기반 두 가지 일차추출단위(PSU) 선택지의 비용과 정밀도 교환관계를 면접원 배치 방식과 함께 논의했다. 비용 효과는 통계·운영 요인과 떼어 볼 수 없고 복잡하게 얽혀 있어 기획과 분석 양쪽에서 함께 고려해야 한다는 점을 보여준 것이다.

모드는 비용에 직접 영향을 주는 중심 설계요인이다. 웹조사 같은 저비용 모드는 사례당 변동비를 줄이지만 모든 집단에 닿지 못해 더 비싼 모드의 후속 조사가 필요할 수 있다. 혼합모드나 순차설계는 비용과 오차의 균형을 맞추려는 방식이지만 구현과 비용 추정에 복잡함을 더한다. Boulet은 응답성향이 낮게 예측된 사례에 CATI(컴퓨터 이용 전화면접) 후속을 집중해 무응답 편의를 줄이고 과소대표 집단의 응답을 늘리려 했다. Reardon은 뉴욕시 헬스패널에서 우편 초청장을 넣었을 때 SMS·이메일만 보낸 경우보다 응답률이 오르는지, 인쇄·우편 변동비는 얼마인지를 살폈고, 완료당 비용과 함께 '추가 100달러당 늘어난 완료 건수'를 뜻하는 효율지수를 비용지표로 보고했다. Lewis 등은 웹·우편 순차설계에서 종이 질문지 사용이 줄어드는 것을 확인하고 웹 전용 설계와 응답률·표본 구성에서 차이가 거의 없으며 인쇄·우편비를 아꼈다고 보고했다.

표집틀과 모드의 조합도 비용에 큰 영향을 준다. ZuWallack은 전화번호가 없는 사람을 주소 기반 틀로 모아 웹조사에 넣는 방식, 주소와 연결되지 않은 RDD 전화번호로 전화조사를 하는 방식, 둘 다 가능한 경우 웹과 전화를 결합하는 방식의 비용과 오차를 비교했다. Amaya 등은 비확률 웹표본, 확률 기반 웹·전화 패널, 주소 기반 웹·우편·전화 혼합표본 세 조합을 비교했는데, 한 조합을 '참값'으로 가정했을 때 가장 비싼 선택지가 늘 가장 좋은 자료를 주지는 않았다. Kaye는 웹·우편조사의 여러 모드·틀 조합에서 고정비와 변동비를 살폈고, 비확률 패널과 오픈링크가 평균적으로 자료수집 비용에 차이가 없더라도 자료 관리와 처리에 훨씬 많은 시간이 들었음을 확인했다.

현장 실사 규약은 비용의 큰 동인이다. 접촉 시도를 늘리거나 현장 기간을 연장하면 응답률이 오를 수 있지만 대개 수확 체감이 따른다. Tolliver는 회귀모형으로 사례별 소요 시간, 청구 주행거리, 접촉 시도 횟수를 패러데이터와 가구·지역 특성으로 예측했는데, 예측의 잔차가 크고 접촉 시도가 가장 많이 필요한 사례를 예측하지 못했다. Wagner도 패러데이터로 면접원의 근무 시간을 통화 결과와 업무량으로 예측해, 자료수집을 특정 시점에 멈출 때의 비용 절감을 추정하려 했다. 두 연구 모두 추가 노력의 한계 비용이나 노력을 줄일 때의 절감을 평가하기가 어렵다는 점을 보여줬고, 더 많은 연구가 필요한 부분으로 남았다.

면접원 조사의 인력 구조도 비용에 영향을 준다. 면접원 풀이 커지면 관리자가 더 필요해 비용이 비선형으로 늘어난다. 이동 면접원은 상황에 따라 비용을 아낄 수도, 늘릴 수도 있다. DeMatteis와 Cook은 대규모 전국 조사에서 대규모 인력 풀을 갖춘 이동 면접원이 비용을 절감했다고 본 반면, Kotch 등은 채혈사가 필요한 소규모 지역 연구에서는 이동 인력이 더 비쌌다고 보고했다. 인센티브도 비용에 영향을 준다. 선불 인센티브를 높이면 고정 표본에서 총지출은 늘지만 현장 노력을 줄이거나 접촉하기 어려운 집단의 응답을 높이기도 하며, 그 영향은 상황에 따라 다르고 비선형이라 예측이 쉽지 않다. Bertoni는 1달러 현금과 5달러 가상 기프트카드를, McRoy는 순차 혼합모드에서 특정 모드를 유도하는 인센티브를 비교했다.

질문지 설계는 면접 길이와 응답 부담을 통해 비용에 영향을 준다. 길거나 복잡한 도구는 면접원 시간을 늘리고 응답 부담과 무응답·중도이탈 위험을 키운다. 생체측정이 들어가거나 여러 언어가 필요하면 복잡함이 더해진다. 다만 면접 길이 하나를 넘어 질문지 설계를 구체적인 비용 결과와 잇는 체계적 방법은 아직 덜 개발돼 있다. 적응·반응 설계는 중간 자료로 노력 배분을 이끌어 효율을 높이려는 방식인데, 패러데이터 수집·현장 진행 모니터링·예측모형 개발을 위한 인프라와 기술 인력이 추가로 필요하고 과거 자료나 사전 실험도 있어야 해서 이를 갖출 수 있는 조직이나 비용을 흡수할 수 있는 프로젝트로 적용이 제한될 수 있다.

다국가·다언어 조사도 고유한 비용 문제를 안는다. 공통 설계와 질문지를 쓰더라도 국가와 자료수집 조직의 조합마다 저마다의 방식과 비용 구조로 조사를 수행한다. 고용 형태, 복리후생, 생활비, 관행이 설계 차이, 다중 언어, 인터넷 보급률 차이, 고정비·변동비에 대한 서로 다른 견해와 겹쳐 국가 간 비교를 어렵게 한다. 한 나라 안에서도 여러 언어의 비용모형을 세우기는 쉽지 않은데, Gillen 등은 가정한 면접 길이가 전체 면접 시간을 과소추정했고 특히 영어 외 언어 면접에서 더 크게 과소추정했다고 보고했다. 이처럼 비용 효과는 비선형이고 상황에 좌우되며 여러 요인의 상호작용에 형성된다는 점이 논의에서 거듭 확인됐다. 다만 국가 외의 상황 요인을 살핀 발표는 드물었고, Gillen 등이 휴일과 미국 선거 주기, 면접 언어, 대상 지역, 스폰서가 비용과 응답률에 미친 영향을 살핀 것이 눈에 띄는 예외였다.

비용과 오차를 잇는 통계모형

조사는 통계를 추정하려는 목적으로 설계되며 모든 추정치는 어느 정도 오차를 안는다. 비용과 오차의 관계는 통계·조사 학계의 오랜 관심사였지만 둘을 명시적으로 잇는 작업은 드물었다. 비용을 품질과 잇자면 비용에 대한 통계모형과 품질 결과에 대한 통계모형을 정의해 연결해야 한다. 백서는 Eltinge를 따라 설계(X)를 설계 결정에 필요한 모든 입력 요소로 넓게 정의하고 이를 다섯 영역으로 나눈다.

•    시장(Market): 통계 생산 시스템에 관련된 주요 이해관계자. 주 이용자와 이차 이용자, 배포·활용의 중개자, 응답자와 자료 제공자, 자금·감독 집단을 포함하며 대상 모집단도 여기에 반영된다.

•    데이터원(Data Sources): 추정에 쓰이는 모든 자료와 출처. 표본조사(표집틀과 패러데이터 포함), 행정·상업 기록 같은 비조사 자료, 센서·바이오마커·환경 시료 같은 보조 자료를 포함한다.

•    방법론(Methodology): 조사와 자료원 설계에 관한 모든 결정. 표본설계, 질문지 개발과 검증, 자료수집 모드, 모집과 현장 절차, 가중·편집·대체, 모형화와 추정, 프라이버시 보호 등이 있다.

•    기술(Technology): 통계정보 생산·배포·활용에 쓰이는 모든 기술. 자료수집과 조사 관리, 배포, 분석, 보고에 쓰이는 기술을 포함한다.

•    행정(Administration): 생산·배포·활용의 행정·관리 과정 전반. 현장 관리, 자료 제공자와의 협상, 회계 시스템 설계와 관리, 인력 교육 투자, 시스템 개발·유지 투자, 무형자본 투자 등이 있다.

이와 별개로 환경 요인 벡터 Z를 두는데, 생산·배포·활용에 중요한 사회·경제·정치 요인이 여기 속한다. 응답 접촉과 협조 의사에 영향을 주는 일반 환경, 기관의 자료 제공 의사에 영향을 주는 요인, 패널 참여와 유지에 관련된 경제·사회 조건, 현장 인력 가용성과 인건비에 영향을 주는 노동시장 조건 등이다. Z는 Groves 등이 말한 '필수 조사 조건'에 해당한다.

이제 비용을 C, 품질을 Q로 둔다. 둘 다 다차원이므로 여러 지표를 담은 벡터로 나타낸다. C는 통계정보 과정에서 실제로 발생한 비용의 벡터로 화폐·비화폐, 절대·상대 값을 모두 담을 수 있고, Q는 여러 추정 대상에 대한 품질 측정치의 벡터로 정확성(편의, 분산, 신뢰구간 포함)뿐 아니라 관련성, 비교가능성, 해석가능성, 적시성 등을 포함한다. 백서는 이 둘을 묶어 다변량 성과 프로파일 P=(Q, C)로 정의한다. 비용과 품질은 각각 설계 X와 환경 Z의 함수이며, 여기에 평균이 0이라고 가정하는 방정식 오차항을 더해 개념적 통계모형을 세운다.

이런 모형은 표본설계 문헌에 이미 흔하다. 예컨대 Cochran의 층화무작위표집에서는 총비용을 각 층의 표본 크기와 층별 단위비용의 선형 함수에 고정비를 더한 형태로 쓰고, 여기에 표본평균의 분산을 품질 지표로 짝짓는다. 이 단순 모형은 방정식 오차항을 빼고, 현장 비용이나 응답 협조도 같은 다른 요인을 고정비와 층별 비용에 암묵적으로 흡수해, 참값과 공식의 차이가 무시할 만큼 작다고 가정한다. 워크숍에서 발표된 대부분의 연구는 이런 가정을 넘어서므로 설계요인별 교환관계에는 더 일반적인 접근이 필요하다.

모형은 추정할 수 있어야 쓸모가 있다. 관측 비용은 실제 비용에 측정오차가 더해진 것으로 보고, 품질 추정치도 측정오차를 안는다고 본다. 모형 계수를 추정하려면 비용·품질 함수의 구체적 형태, 특정 조건에서의 경험적 측정치, 측정오차의 기댓값과 분산에 대한 가정이나 정보, 그리고 통상적인 회귀 방법이 필요하다. Tolliver와 Wagner는 다수준 선형회귀로 비용을 예측해 이 접근의 예를 보였다. 워크숍의 오차모형 추정은 대체로 표본 배분 모형에 비용을 결합한 형태였는데, DeMatteis와 Cook은 카운티 기반과 트랙 기반 설계의 비용·정밀도 차이를 보고했다.

비용과 오차를 함께 다룬 발표 대부분은 한 연구 안에서 실험이나 계획된 변형으로 설계요인 묶음을 구현했다. 비용지표는 대개 자료수집 변동비에 집중됐고 포함 항목은 연구마다 달랐으며, 관측 비용일 때도 추정 비용일 때도 있었다. 품질지표는 주로 응답률과 표본 대표성이었고, 인구 분포와의 비교나 가중으로 인한 설계효과, 유효표본수 등으로 측정됐다. 발표된 연구들이 설계요인, 비용 측정, 오차지표에서 크게 이질적이었던 탓에 조사 비용과 오차의 관계에 대해 일반적 결론을 끌어내기는 어렵다. 그럼에도 어떤 지표로든 비용과 오차를 함께 보고하는 것은 둘의 관계를 이해하기 위한 중요한 첫걸음이다.

비용 데이터의 측정오차

비용자료의 측정오차 기제는 다차원이고 조직과 연구자마다 다르다. 측정오차는 자료의 정확성, 완전성, 해석가능성 문제에서 생기며, 그 성격에 따라 결과 추정치가 편향되거나 분산이 커져 잘못된 판단으로 이어질 수 있다. 다만 Eltinge는 이 한계를 용도 적합성의 관점에서 보아야 한다고 지적했다. 방법론 실험에서 대안들의 비용을 비교할 때, 빠진 비용이 모든 처치에서 같다고 가정할 수 있거나 다른 비용 항목에 비해 작다면 비용자료가 모든 비용을 담지 않아도 크게 문제되지 않는다는 것이다.

시간 기록과 청구 절차 때문에 비용이 특정 업무나 프로젝트에 부정확하게 배분되기도 한다. 면접원이 여러 프로젝트를 동시에 하면 각 프로젝트에 실제 쓴 시간을 정확히 보고하기 어렵고, 대면 이동 비용을 특정 프로젝트에 적절히 배분하기는 더 어렵다. 급여 직원이 전체 40시간까지만, 또는 프로젝트당·업무당 정해진 시간까지만 청구하게 하는 조직에서는 그 이상 일한 시간의 비용이 잡히지 않는다. 구조적 측정오차도 있다. 월별 급여자료가 달이 지나야 나오는 것처럼 비용이 지연돼 확보되거나, 프로젝트 전체 시간만 기록하고 업무별로는 기록하지 않거나, 대량 구매한 소모품을 사용량으로만 기록해 비용모형으로 배분하는 식이다.

거의 모든 발표에서 조직이 보고한 비용자료는 공유 자원비(전산·회계), 간접비, 인프라 투자, 자료수집 후 처리 비용 같은 항목을 빠뜨리곤 했다. 또 실험·준실험 설계를 쓰는 연구자들은 특정 업무의 비용이 관심 설계요인에 걸쳐 균일하다고 흔히 가정하면서 그 가정이 성립하는지 경험적으로 확인하지 않는다. Kaye의 사례처럼 실제로 확인하면 숨어 있던 뜻밖의 차이가 드러나기도 한다.

조사 조직의 회계 시스템은 청구와 행정 목적으로 비용을 담도록 설계돼 있어 방법론 목적에는 맞지 않게 구조화돼 있다는 지적이 워크숍에서 자주 나왔다. 그 결과 비용이 프로젝트·사례·일·면접원·시도 등 여러 수준으로 잡혀 함께 쓰기 어렵고 집계 가정이 필요해진다. 비용 정보가 예산·설계·방법론 평가에 쓸모 있으려면 분석에 맞는 수준으로 비용을 담도록 회계 시스템을 설계하거나, 분석자가 집계·분해 방법을 결정해야 한다. 사례 단위 회계 기록이 있더라도 응답자 특성, 표집틀 정보, 협조 거부 지표, 면접 과정 패러데이터 같은 자료와 연결되는지, 대개 사례별 실제 비용 대신 근무 시간 같은 대략적 대리지표만 있어 화폐 비용으로 외삽할 모형이 필요하지는 않은지를 평가하는 일이 중요하다.

비용 측정과 분석의 과제

참여자들은 비용을 설계에 넣을 때 부딪히는 여러 과제를 이야기했다. 비용의 불확실성, 사례별 차이, 자료의 한계, 계약 구조, 비용과 품질의 연결 등이다. 우선 비용 추정에는 근본적인 불확실성이 있다. 특히 복잡하거나 종단인 연구에서 비용은 변동이 큰데도 기획과 추정은 이를 고정된 값으로 다루곤 한다. 응답률이나 특정 표본에 닿는 데 드는 노력처럼 미리 알기 어려운 요인의 작은 오차가, 특히 접촉하기 어려운 사례에서 예상 비용과 크게 어긋나게 만든다.

집계 수준의 불확실성을 넘어 사례별로도 비용은 크게 다르다. 완료당 비용 같은 평균 지표는 이 차이를 가린다. 어떤 사례는 금세 완료되지만 어떤 사례는 반복 접촉이나 집중 후속이 필요하며, 사례 난이도는 쉬움과 어려움의 이분법이 아니라 여러 차원에 걸쳐 달라진다. 표본 단위나 응답자 특성, 패러데이터, 현장 단계로 층화하지 않으면 비용이 어디에 몰려 있는지, 어떤 사례가 지출을 이끄는지 알기 어렵다. 비용이 큰 사례는 예측하기 어렵고 미리 식별하기도 쉽지 않아 기획과 자원 배분을 복잡하게 만든다.

비용을 추정하는 것만큼 그 불확실성을 조직 안의 설계자와 관리자에게 정량화해 전달하는 일도 중요하다. 비용 예측은 단일 점 추정치로 보고되곤 하는데, 이는 가능한 결과의 폭을 가린다. 응답률 차이, 현장 차질, 예상 못한 운영 문제가 큰 변동을 낳을 수 있다. 즉 비용을 설명할 때 환경 요인이 설계 요인만큼 중요할 수 있다. 이에 범위나 시나리오, 확률적 표현으로 나아갈 필요가 있지만 널리 받아들여진 방법은 아직 덜 개발돼 있다. 하위집단 모집 비용의 변동이 크다면 예산 초과 확률을 낮추도록 설계를 짜거나, 사전조사 결과로 초기 설계를 바꾸는 식으로 불확실성을 설계와 예산에 반영할 수 있다.

계약과 제도 구조도 비용 관리에 영향을 준다. 고정가 계약과 실비정산 계약은 노력 관리와 비용 문서화에 서로 다른 유인을 만들고 재무 위험을 누가 지는지를 가른다. 고정가에서는 계약자가 초과를 막으려 추가 노력을 제한하고, 실비정산에서는 스폰서가 초과를 흡수한다. 계약 구조는 비용자료의 투명성과 세밀함을 제약해 정확한 분석을 어렵게 하기도 한다.

비용과 품질을 잇는 일은 개념적으로 어려운 과제다. 둘 다 설계 결정에 중요한데도 흔히 따로 측정·분석돼 자원 배분이 오차나 커버리지에 어떻게 영향을 주는지 이해하기 어렵다. 비용은 접촉 전략 조정이나 노력 재배분 같은 실시간 결정에 따라 자료수집 내내 동적으로 변하는 반면, 품질은 고정된 목표로 여겨지곤 한다. 하지만 품질도 용도 적합성의 관점에서 보아야 하며, 비용과 품질, 운영 동학을 함께 고려하는 접근이 필요하다.

비확률 표본과 행정자료 같은 대안 자료원의 비용도 논의됐다. 흔히 비확률 표본은 무응답 후속 지출이 줄어 비용을 크게 아낀다고들 하지만, 일부 하위집단의 과소커버리지에서 오는 편의와 부주의한 응답에서 오는 측정오차 같은 품질 문제도 지적돼 왔다. 잘 논의되지 않은 부분은 이 편의를 평가·완화하는 정교한 통계 방법을 구현하는 데 드는 자료 처리와 분석 비용이다. 이 방법들은 비확률 표본 자체 외에 행정 기록이나 확률 표본 같은 보조 자료를 상당량 요구하고 모형 개발과 검증에 큰 분석 작업이 든다. 완전한 비교라면 비확률 자료수집 비용에 더해 보조 자료 비용, 기록 연결 비용, 모형 개발·모니터링 비용, 관련 분석과 시스템 개발·유지 비용까지 평가해야 한다. 확률 표본에 행정자료를 결합할 때도 마찬가지인데, 행정자료 구매는 특히 연방 통계기관 밖에서는 매우 비쌀 수 있고 처리와 연결에 정교한 지식이 필요하다.

비용만으로 설명되지 않는 데이터의 가치

조직이 조사를 의뢰할 때 대화는 거의 언제나 비용으로 향한다. 얼마나 드는지, 더 싸게 할 수 있는지, '충분히 비슷한' 추정치를 주는 더 저렴한 선택지가 있는지. 예산은 실제 제약이다. 하지만 비용을 주된 결정 변수로 두는 틀은 중요한 것을 놓친다. 조사 연구의 가치는 고객에게 무엇을 알려주느냐에 그치지 않으며, 당장의 유용성과 함께 더 넓고 장기적인 사회적 편익으로도 보아야 한다. 정확성과 신뢰성으로 잰 오차만으로는 품질의 모든 차원을 담지 못한다.

백서는 경제학에서 '가치'의 두 개념을 빌려 온다. 사용가치는 특정 이용자가 특정 상황에서 특정 자료를 실제로 써서 얻는 가치로, 현재의 실제 용도와 관련된다. 옵션가치는 아직 써 본 적 없지만 앞으로 쓸 수 있는 가능성에서 지금 얻는 가치다. 한 번도 쓰지 않은 공중보건 통계 계열을 향후 보건 위기 때 쓸 수 있으리라 보고 정책결정자가 부여하는 가치가 그 예다. 통계정보의 가치를 평가할 때는 비용과 품질의 교환관계와 함께 통계기관의 신뢰성, 이해관계자의 신뢰, 방법의 과학적 무결성 같은 무형 요소도 고려해야 한다.

확률 기반 표집, 잘 검증된 질문지, 큰 표본, 여러 모드·언어 조사, 충분한 후속, 세심한 가중과 검증을 갖춘 높은 품질의 조사는 대안보다 비싸다. 여기서 던질 물음은 그런 조사가 더 비싼가가 아니라, 더 비싼 자료가 더 작은 오차를 낳고 오늘의 결정(사용가치)과 미래의 결정(옵션가치), 위험 완화에서 더 큰 효용을 주는가다. 신뢰성은 대개 정확성에 대한 폭넓은 확신에서 나온다. 정부, 자선, 의료, 언론, 민간의 결정자들은 조사 결과로 자원을 배분하고 프로그램을 설계하고 전략을 세운다. 바탕 자료가 부정확하면 그 결정은 지탱될 수 없는 토대 위에 서게 되고, 사용가치는 낮아진다.

저비용 자료가 정당화되는 상황도 있다. 비확률 자료를 확률 자료와 통합하는 방법은 활발히 연구되며 확률 조사 기준선과 비교해 검증된다. 다만 표본 출처가 시간에 따라 바뀔 때, 특히 실제 사람 없이 모형 예측만으로 만든 '실리콘 샘플(silicon sample)'이 저가 상품 목록에 끼어들 때 장기적 영향은 잘 밝혀져 있지 않다. 고비용 조사가 정확성을 추구하는 한 영역이 모집단의 높은 커버리지다. 확률 표본은 전체 모집단을 대표하도록 설계된 표집틀을 갖고, 참여를 꺼리거나 닿기 어려운 사람까지 끌어들이려 한다. 반면 저비용 비확률·편의 표본은 인터넷이 불안정한 사람, 비영어 화자, 농촌 거주자, 고령자, 저소득층처럼 접촉이 어려운 이들을 체계적으로 배제할 수 있다. 자발적 참여로 이뤄진 옵트인 패널은 무작위로 뽑히지 않아 연구 질문에 크게 중요한 방식으로 전체 모집단과 다를 수 있다.

결정자에게 함의는 분명하다. 저렴한 연구는 처음엔 절약처럼 보여도 나중에 값비싼 실수로 이어질 불확실성을 들여올 수 있다. 나쁜 자료로 내린 결정의 위험이 연구 예산에서 아낀 몫을 넘어설 수 있다는 것이다. 잘못된 환자 태도 조사로 프로그램을 정하는 의료기관, 부정확한 지역사회 자료로 보조금을 배분하는 재단, 부정확한 소비자 심리 조사로 제품을 출시하는 기업의 위험이 그렇게 커진다.

연구 결과를 공개하는 조직이라면 부실한 자료를 내는 위험은 더 크다. 공개된 조사 자료는 기자에게 인용되고 정책결정자에게 참조되며 사회관계망을 타고 다른 연구자에게 넘어간다. 표집이 방어 불가능하거나 가중이 부실하거나 응답률이 너무 낮아 신뢰할 결론을 못 내린다는 사실이 나중에 드러나면 평판 손상은 크고 오래간다. 최근 선거 주기의 여론조사 실패가 조사 연구 전반에 대한 대중의 회의를 부른 것이 그 예다. 이 위협은 자료 품질이 그대로여도 대중의 품질 인식이 바뀌는 것만으로 일어날 수 있다. 한 분석은 BLS(노동통계국) 국장 해임으로 공식통계에 대한 신뢰가 낮아져 미국 경제에 약 200억 달러의 비용이 발생했다고 추정했다. 품질이 실제로 변했다는 증거가 없어도 품질에 대한 신뢰가 낮아지면 실질적 경제 영향이 생길 수 있다는 것이다.

응답자를 사람으로 존중하는 윤리적 책임도 품질의 한 부분이다. 조사 연구는 잘 되면 규모를 갖춘 경청 행위이자, 결정이 내려지는 자리에 목소리가 닿지 못하는 이들의 경험과 필요를 전하는 장치다. 부실한 방법은 이 주장을 방법론을 넘어서는 방식으로 무너뜨린다. 참여도 높고 인터넷에 익숙한 응답자를 과대표집하는 옵트인 패널은 전체 경험을 담지 못하고 일부 목소리만 키운다. 근래 옵트인 패널 자료에는 돈을 노려 조사에 걸러 들어오려는 '허위 응답자', 봇, AI가 만든 응답이 늘고 있다. 반대로 확률 기반 연구는 모집단의 모든 사람에게 알려진 양(+)의 선택 확률을 부여해 모두를 경청 대상으로 대한다는 점에서 근본적으로 민주적인 대표성에 뿌리를 둔다.

무결성을 품질의 척도로 두는 것이 모든 연구 질문에 가장 비싼 방법이 필요하다거나 예산을 무시해도 된다는 뜻은 아니다. 설계에는 진짜 교환관계가 있고, 경험 있는 설계자는 필요·일정·자원에 맞는 방법을 찾도록 도울 수 있다. 다만 자료의 가치는 '가장 싸게 답을 얻는 법'이 아니라 그 자료로 무엇을 해야 하는가로 정해진다. 즉 비용은 용도 적합성에 비추어 평가해야 한다. 이 자료를 근거로 행동하기 전에 얼마나 확신해야 하는지, 자료가 틀렸을 때 조직의 결정과 평판, 그리고 대상이 되는 사람과 공동체에 어떤 결과가 오는지, 우리가 의뢰하는 연구가 그 목소리에 마땅한 존중과 배려를 담고 있는지를 물을 수 있다.

 

12가지 권고

백서는 이 열 가지 결론에서 열두 가지 권고를 끌어낸다. 조사 조직 안에서 비용에 대한 이해와 내부 연구를 키우는 데 초점을 두었고, 독점 정보를 드러내지 않는 선에서 공유될 수 있다면 향후 연구의 방향이 되기도 한다.

            1. 표준 정의와 지표를 개발하고 사용한다. 여러 경험적 연구의 정의와 지표를 비교하는 데서 시작해, 학계·정부·민간의 조사를 포괄하는 정의를 비교하고 표준 회계 용어와 어떻게 맞물리는지 평가할 수 있다. 응답률에 표준 정의가 있듯 비용 측정에도 표준 정의를 세우는 장기 과제의 밑바탕이 된다.

            2. 비용 측정 구조를 관리 결정과 연결한다. 어떤 관리 결정이 어떤 수준의 비용 정보를 필요로 하는지 먼저 구체화한다. 미래 조사의 모드 선택을 위한 모드 A와 B의 상대비용처럼 집계 수준이 필요한 결정도 있고, 전화조사에서 접촉 10회 뒤 남은 사례를 마무리하는 데 예산을 얼마나 쓸지처럼 세밀한 정보가 필요한 결정도 있다.

            3. 집계 비용 평가에 포함한 구성요소를 정당화한다. 인프라비와 고정비는 물론 변동비로 잡은 활동·자재·인건비까지, 어떤 항목을 넣고 뺐는지 실무적으로 밝힌다. 간접비, 계약 개발비, 비지원 의무, '기업 서비스'처럼 회계상 분류가 갈리는 비용을 언제 포함하는지 설명하면 비용이 왜 다른지 이해하는 데 도움이 된다.

            4. 비용·품질 교환관계 평가에 쓴 품질 지표를 정당화한다. 응답률이나 R-지표에 주로 기대는 현재 방식을 넘어, 틀 커버리지·기록 연결·무응답·측정오차에서 오는 편의까지 더 넓은 품질 지표를 살필 수 있다. 소득·지출·건강 측정처럼 비싼 고품질 방법과 저렴한 대략적 대리 측정 사이의 선택에도 같은 논리가 적용된다.

            5. 구체적 설계요인에 대한 결정을 통해 교환관계를 평가한다. 비용과 품질에 함께 영향을 주는 설계요인 가운데 실제로 바꿀 수 있는 것이 무엇인지에 따라 교환관계 평가가 달라진다. 설계요인과 성과의 관계에는 불확실성이 따르므로, 구체적 설계 변경의 상황에서 그 불확실성을 반영해 논의해야 한다.

            6. 환경 요인을 고려한다. 환경 요인이 일부 품질·비용 차원에 중요하고 설계 요인과 상호작용하며 연구마다 다를 수 있을 때, 이를 통상적 설계 요인과 함께 반영할 실무적 방법을 찾는다. 연중 여러 달에 걸친 비용을 살피는 것이 한 예다. 응답률에 대한 사회·경제·정치 요인 연구는 있었지만 비용에 대한 연구는 적었다.

            7. 비용 분석의 불확실성을 정량화한다. 변동을 정량적으로 잴 수 있는 수준으로 비용자료를 추출하면, 관리자와 예산 담당자가 그 정보를 예산 개발과 실시간 비용 관리, 시스템 유지에 활용할 수 있다. 불확실성이 크다는 신호가 있는 비용 추정치는 해석에 큰 주의가 필요하며, 총액·사례당 비용·회귀계수의 표준오차나 결정계수 같은 지표가 도움이 된다.

            8. 불완전하더라도 가용한 비용 정보로 조사를 설계하고 개선한다. 비용을 재는 방법과 접근은 이미 있으며 써야 한다. 인프라비·고정비·변동비를 구분하고 조사 간에 표준화하려는 시도가 이상적이다.

            9. 수집을 넘어 생산·배포·활용의 추가 구성요소로 넓힌다. 인센티브비나 인쇄·우편비 같은 극소수 구성요소만 계산에 담기곤 한다. 전체 구성요소를 폭넓게 고려하면 각 요소의 효율을 높이고 개선의 우선순위를 정하는 데 도움이 된다.

            10. 관리자가 비용을 살피도록 유인하고, 비용 검토의 부담을 줄이는 도구를 개발한다. 비용 정보를 모으는 일 자체가 매우 비쌀 수 있어, 관리자는 표준 유인에 직접 연결되고 부담이 적은 요청에 주로 반응한다. 자금 제공자가 입찰과 계약 보고에 상세 비용 정보를 요구하거나, 상급 관리자가 프로젝트 관리자에게 무엇을 자료로 결정하고 무엇을 경험으로 결정하는지 묻는 방식을 생각할 수 있다. 이와 함께 스프레드시트 도구를 개조한 표준 소프트웨어 개발, 현장 관리자로부터 초기 구조적 통찰을 얻는 베이즈식 사전정보 도출, 소수의 지배적 요인을 평가하는 실험 설계로 비용 분석의 부담을 줄일 수 있다.

            11. 관련 경험 연구와 비용 정보의 메타분석을 검토한다. 현재의 경험 연구는 특정 조사에 국한된 경우가 많다. 비슷한 지표를 쓴 비용 정보가 충분히 쌓이면 메타분석이 가능하며, 무응답 편의 연구를 나란히 비교한 선례처럼 보고된 결과를 대조하는 심층 비교에서 시작할 수 있다.

            12. 여러 이해관계자와 투명하고 실행 가능한 소통을 한다. 비용 분석 결과를 설계·현장 운영·일반 관리·시스템 설계·자금과 감독 등 여러 집단에 맞춰 전하는 자료(필요하면 그래픽 포함)를 준비한다. 준비 과정에서 이해관계자가 투명하고 실행할 수 있다고 여길 방식으로 소통하는 데 특히 힘을 쏟아야 한다.

정리

이 백서가 던지는 물음은 결국 하나로 모인다. 조사에서 비용은 언제나 논의되지만 비용 그 자체는 거의 연구되지 않았고, 정의도 측정도 조직마다 제각각이라는 것이다. 완벽한 자료를 기다릴 필요는 없다. 지금 가진 자료로 비용을 재고 모형을 세우되, 무엇을 포함했고 얼마나 불확실한지를 투명하게 밝히면서 시작하면 된다. 그리고 그 모든 논의의 바탕에는 조사의 가치가 자료수집 비용을 넘어선다는 인식이 있다. 어떤 방법으로도 얻을 수 없는 지식을, 확신을 갖고, 재현할 수 있는 방식으로, 자료 뒤의 사람을 존중하며 아는 일에는 자료 값 이상의 가치가 있다.

유엔 가구·개인 조사 핸드북(2026) 소개

 

유엔 가구·개인 조사 핸드북(2026) 소개

Handbook of Surveys on Households and Individuals: Foundations and Emerging Approaches

United Nations Statistics Division, Final Draft (2026. 4. 30. 업데이트본), 595쪽

1984년 이후 40여 년 만에 전면 개정된 유엔의 가구조사 종합 지침서가 최종 초안으로 공개되었다. 조사 기획에서 공표까지의 전 과정을 다룬 1부 열 개 장과 교육, 노동, 자산, 젠더, 강제이주민 등 주제별 각론인 2부 일곱 개 장으로 구성된 이 문서의 배경, 구조, 주요 내용을 정리했다.

1. 어떤 문서인가

유엔 통계처(UNSD)가 준비한 「가구·개인 조사 핸드북: 기초와 신흥 접근(Handbook of Surveys on Households and Individuals: Foundations and Emerging Approaches)」이 최종 초안(Final Draft) 형태로 공개되었다. 2026년 3월 뉴욕에서 열린 유엔 통계위원회 제57차 회기에 배경문서로 제출된 판본이며, 이후 4월 30일자로 업데이트된 문서가 유통되고 있다. 분량은 약 595쪽이다.

이 핸드북은 1984년에 나온 「유엔 가구조사 핸드북(UN Handbook on Household Surveys)」을 40여 년 만에 전면 개정한 것이다. 유엔 통계처는 1950년대부터 가구조사 방법론 지침을 꾸준히 내왔다. 1982년부터 1995년까지 이어진 국가가구조사역량프로그램(NHSCP) 시리즈가 설문 개발, 표본추출, 소득·지출·건강 조사 등 세부 주제를 다뤘고, 2005년 「개발도상국·체제전환국의 가구표본조사」, 2008년 「가구조사 표본설계 실무지침」이 뒤를 이었다. 그러나 종합 지침서 격인 1984년판은 오늘의 조사 환경과 거리가 멀어진 지 오래였다. 응답률 하락, 조사 비용 상승, 더 빠르고 세밀한 통계에 대한 수요, 행정자료·원격탐사·휴대전화 위치정보·시민생성데이터 같은 비전통 데이터원의 등장이 개정의 배경으로 명시되어 있다.

제목의 변화도 눈에 띈다. 기존의 '가구조사(household surveys)'가 '가구와 개인에 대한 조사(surveys of households and individuals)'로 바뀌었다. 가구 개념이 여전히 사회조사의 중심이지만, 시설 거주자나 홈리스처럼 가구 밖에 있는 개인도 조사 대상에 포함되어야 하고, 어떤 조사는 표본설계에서 가구 개념을 아예 거치지 않을 수 있다는 인식을 반영한 것이다.

작성은 유엔 통계처가 주도하고 가구조사 사무국간 실무그룹(ISWGHS)이 감수했다. 실무그룹 공동의장은 세계은행(Calogero Carletto, Talip Kilic), UN Women(Papa Seck, Jessamyn Encarnacion), UNESCO(Manos Antoninis)가 맡았고, 기술 총괄 에디터는 갤럽의 Charles Lau다. 운영위원회 명단에는 메릴랜드대 조사방법론 합동프로그램(JPSM)의 Frauke Kreuter, 에식스대의 Peter Lynn 같은 학계 인사와 캐나다, 멕시코, 중국, 자메이카, 우간다, 브라질 통계기관의 전문가들이 올라 있다. 전문가그룹 회의, 기술 워크숍, 여러 차례의 글로벌 협의와 동료검토를 거쳤다고 서문은 밝히고 있다.

2. 누구를 위한 문서이고, 무엇이 다른가

1차 독자는 국가통계기구(NSO)다. 다만 국가통계시스템 안에서 공식통계를 생산하는 다른 정부기관, 조사를 수행하는 부처, NGO, 민간 조사회사, 국제·지역 기구도 독자로 명시되어 있다. 통계 인프라 수준이 서로 다른 나라들을 모두 지원하도록 설계되었고, 원칙과 단계별 절차에 각국 사례를 붙이는 방식으로 서술된다.

핸드북 스스로 밝히는 차별점은 네 가지다. 첫째, 신흥 접근(emerging approaches)의 수록이다. 확립된 방법론과 함께, 아직 연구 단계이거나 검증은 되었으나 국가조사에 널리 채택되지 않은 방법들을 각 장 말미에 별도 절로 정리했다. 품질과 효율을 높일 수 있다면 실험하고 채택하라는 권고가 붙어 있다. 둘째, 포용(inclusion)이다. 전통적 조사설계는 모집단이 가구 거주자이고 단일한 조사 절차가 모두에게 통한다고 가정하지만, 이 핸드북은 시설 거주자, 홈리스, 장애인, 소수 언어 사용자 등이 배제되지 않도록 절차를 조정해야 할 곳들을 명시한다. 셋째, 조사를 국가 데이터 생태계의 구성요소로 보는 시각이다. 조사를 시작하기 전에 이미 있는 데이터를 점검하고, 다른 데이터원과 결합하기 쉽도록 처음부터 상호운용성을 고려해 설계하라는 원칙이 책 전체에 반복된다. 넷째, 살아있는 문서(living document)라는 성격이다. 인쇄본과 별도로 온라인 플랫폼을 통해 지속적으로 갱신하고 보완 자료를 얹을 계획이며, 실제로 문서 앞부분에는 이용자 대상 피드백 조사 안내가 실려 있다.

살아있는 문서라는 성격은 말에 그치지 않는다. 배포본 앞부분에는 이용자 피드백 조사 안내가 실려 있는데, 어떤 배포 채널(온라인 문서, 인쇄물, 웨비나, 워크숍 등)이 유용한지, 핸드북을 어떤 용도(신규 직원 교육, 훈련, 조사 승인, 내부 규정 개발 등)로 쓸 것인지, 갱신 주기를 어떻게 할지 등을 묻는다. 문서의 유통과 개정 자체를 조사로 관리하겠다는 접근이 조사 지침서답다.

구조 면에서는 유엔 유럽경제위원회(UNECE)의 일반통계업무프로세스모델(GSBPM) 5.2판과의 정렬을 명시했다. 2장(조사 필요성 평가와 착수)이 GSBPM 1단계(수요 명세), 6장(자료수집)이 4단계(수집), 9장(분석)이 6단계(분석), 10장(공표)이 7단계(공표)에 대응하는 식이다. 다만 가구조사의 실무 비중을 고려해 GSBPM에서는 하위 프로세스(5.6)에 불과한 가중치 산출에 한 장(8장)을 통째로 배정했고, 설계(2단계)와 구축(3단계)은 별도 장으로 나누지 않고 과업별 장 안에 통합했다.

3. 1부: 조사 수행의 전 과정

1부(1~10장)는 조사 한 건이 기획에서 공표까지 거치는 전 과정을 순서대로 다룬다. 4장부터 10장까지는 공통 형식을 따른다. 과업의 개요와 원칙으로 시작해, 세부 절차를 단계별로 안내하는 '하우투' 부분이 중심을 이루고, 신흥 접근과 추가 참고자료로 마무리된다.

1장. 조사 환경 개관 (Overview of the Survey Landscape)

책 전체의 용어와 전제를 깔아 주는 장이다. 공식통계 기본원칙과 품질 프레임워크에서 시작해 확률·비확률표본, 자료수집 모드, 포용성, 응답자 부담, 패러데이터와 메타데이터, 공중과의 소통, 데이터 통합과 상호운용성까지를 개관한다. 다른 장을 읽기 전에 먼저 읽으라고 권하는 장이기도 하다.

확률표본에 대한 태도가 분명하게 정리되어 있다. 응답률 하락, 비용 상승, 적시성 요구, 온라인 데이터원의 확산으로 확률표본·설계기반 추론이라는 전통 패러다임이 도전받고 있고 비확률조사에 대한 관심이 되살아났다는 사실을 인정하면서도, 이 핸드북의 권고는 확률표본과 설계기반 추론에 중심을 둔다고 못박는다. 비확률표본은 참여 메커니즘의 통계적 성질을 알 수 없어 선택편향에 훨씬 취약하고, 가중 모형도 근거가 빈약한 상태에서 만들어야 하며, 품질지표 정의조차 어렵다는 이유다. 다만 인지테스트, 운영 사전점검, 신규 주제의 탐색 조사처럼 모집단 추론이 필요 없는 용도에는 비확률표본이 표준 관행이라는 점, 확률표본이 불가능한 접근 곤란 모집단에서는 한계를 명확히 알리는 조건으로 사용을 고려할 수 있다는 점도 함께 적었다. 비확률 자료의 가중 방법은 8장에서 신흥 접근으로 다룬다.

장의 앞머리에 배치된 공식통계 기본원칙과 품질 프레임워크 논의는 이후 모든 장의 준거가 된다. 통계의 정확성만이 아니라 적합성, 적시성, 접근성, 일관성, 해석가능성까지 포함하는 다차원 품질 개념이 제시되고, 뒤에 나오는 총조사오차 관점의 오차 관리가 이 틀 위에서 전개된다. 응답자 부담에 대한 절도 따로 있다. 부담을 낮추는 일이 응답자에 대한 예의인 동시에 무응답과 측정오차를 줄이는 품질 전략이라는 이중의 논리로 정당화되며, 설문 길이의 관리와 기존 데이터의 활용이 그 수단으로 제시된다. 패러데이터와 메타데이터의 구분과 활용, 그리고 조사에 대한 공중의 신뢰를 쌓는 소통과 관여 방안도 이 장에서 미리 소개된다.

1장 마지막의 데이터 통합 절은 이 핸드북의 지향을 압축해 보여 준다. 표집 단계에서는 이동전화 프레임과 유선전화 프레임의 결합으로 커버리지를 보완하거나 미국 프레임 프로젝트처럼 주소 프레임에 사업체등록부와 인구 프레임을 결합해 층화 효율을 높이는 사례가, 수집 단계에서는 행정자료 연계로 조사 문항 자체를 대체한 캐나다 소득조사와 EU-SILC의 사례가, 분석 단계에서는 조사자료와 보조자료를 모형으로 결합하는 소지역추정(SAE)이 제시된다. 조사를 고립된 생산물이 아니라 다른 데이터원과 결합될 것을 전제로 설계하라는 상호운용성 원칙이 여기서 처음 정식화된다.

자료수집 모드에 대해서는 서술의 비중을 스스로 밝히고 있다. 대면면접이 여전히 다수 국가의 지배적 모드이므로 가장 많은 지면을 할애하고, 전화면접도 다루되, 자기기입식(웹, 우편)은 상대적으로 적게 다룬다는 것이다. 용어 정리도 흥미로운데, 웹조사는 정의상 컴퓨터 기반이므로 CAWI라는 표현을 쓰지 않겠다고 명시했다. 혼합모드(mixed-mode)는 비중 있게 다뤄진다. 웹처럼 저렴한 모드로 먼저 접근하고 무응답자를 CATI, CAPI로 추적하는 순차 설계와 여러 모드를 동시에 제시하는 동시 설계를 구분하고, 모드 선택효과(모드별로 다른 사람이 참여해 표본 구성이 개선되는 효과)와 모드 측정효과(같은 사람이 모드에 따라 다른 응답을 하는 효과)를 나눠 설명한다. 혼합모드가 참여율과 포용성을 높일 수 있지만 설문 설계, 표본 관리, 자료 관리가 모두 복잡해진다는 경고도 붙어 있다. 한 조사 안에서 문항 묶음별로 모드를 달리하는 방식은 혼합모드가 아니라 다중모드(multi-mode)로 구분해 부른다.

2장. 조사 필요성 평가와 착수 (Survey Needs Assessment and Initiation)

새 조사(또는 새 모듈, 새 조사 프로그램)를 시작할지 말지를 판단하는 단계를 다룬다. 이해관계자의 수요를 식별하고 문서화하는 데서 출발해, 조사의 범위(주요 설계 결정과 산출물)와 재원(사업 타당성 논리)을 검토한 뒤, 신규 자료수집으로 갈지 여부를 판단하는 프레임워크를 제시한다. 모든 요청이 새 조사로 이어져야 하는 것은 아니라는 문장이 이 장의 요지를 압축한다. 이미 있는 데이터로 답할 수 있는 수요인지 먼저 확인하라는 것이다. 국가 사례연구로 마무리된다.

3장. 조사 관리 (Survey Management)

조사 프로젝트의 감독, 지휘, 조정을 다루는 장이다. 계획, 조직, 리더십, 통제라는 관리의 기본 기능을 조사라는 노동집약적이고 다학제적인 작업에 적용한다. 거버넌스 구조, 조사 관리자의 역할, 실사 전 준비, 테스트, 실행 단계의 모니터링과 통제, 프로젝트 종료까지를 절차 순서대로 안내하며, 일정 관리, 예산, 리스크 관리, 품질보증, 이해관계자 관리, 윤리적 고려 같은 주제가 함께 다뤄진다. 성공의 기준을 시간, 비용, 품질의 균형과 효과적인 이해관계자 관여로 정의한 점이 실무적이다.

실사 전 준비에 배정된 절이 특히 구체적이다. 인력 계획과 조달, 장비와 물류, 일정표 작성, 예산 편성이 항목별로 안내되고, 본조사에 앞선 테스트를 별도 절로 두어 시스템·절차·설문의 점검을 실사 개시의 전제조건으로 못박는다. 프로젝트 종료 절에서는 산출물 인계와 함께 사후 평가와 교훈의 문서화를 요구하는데, 다음 조사 주기의 개선이 이번 조사의 마무리 안에서 시작된다는 시각이다.

4장. 설문지 설계, 번역, 도구화 (Questionnaire Design, Translation, and Instrumentation)

설문지 관련 장 중에서 개념적 기반이 가장 탄탄한 장이다. 인지 응답과정 모형, 설문지 설계·개발·평가·테스트(QDET), 응답자 중심 설계라는 세 프레임워크를 먼저 소개한 뒤, 설문 내용 구성, 종이 설문지의 기술적 설계, 전자 자료수집을 위한 사양서 작성, 번역, 설문 평가와 테스트, 자료수집 시스템 선정, 프로그래밍과 테스트를 차례로 안내한다. 설문지 설계를 넓게 정의한 점이 특징이다. 문항 초안 작성과 번역만이 아니라 전자 자료수집 시스템에 설문을 구현하는 작업까지를 설계의 일부로 보고, NSO들이 실제로 쓰는 자료수집 시스템들을 비교해 준다.

번역과 테스트는 각각 독립된 절로 다뤄진다. 번역에서는 한 사람의 번역가에게 맡기는 방식이 아니라 복수의 번역, 검토 회의, 판정, 사전 테스트, 문서화로 이어지는 팀 기반 절차(TRAPD)가 표준으로 제시된다. 다국어 조사가 흔한 국제 조사의 경험이 응축된 부분이지만, 외국인 대상 조사나 다문화 가구 조사가 늘어나는 국내 여건에서도 참고할 지침이다. 설문 평가와 테스트 절은 전문가 검토, 인지면접, 사전조사 같은 방법들을 언제 어떤 조합으로 쓸지 안내하며, 테스트 없이 실사에 들어가는 관행에 대한 사실상의 반대 논거를 제공한다.

이 장의 신흥 접근 절은 AI 논의가 가장 집중된 곳이다. 기계번역에 대해서는 2025년 시점의 권고로 원문 그대로 쓰지 말고 반드시 인간 번역가가 검수·수정하는 MTPE(machine translation and post-editing) 방식을 제시한다. 겉보기에 매끄러운 기계번역도 전문가가 뜯어보면 심각한 누락과 오류가 발견되는 일이 잦고, TRAPD 같은 팀 기반 번역 절차의 검토 회의에서는 번역 의도를 설명할 사람이 없다는 약점이 남는다는 것이다. 생성형 AI에 대해서는 문항 개발과 평가, 번역 검토, 개방형 응답 코딩에서의 활용 가능성을 소개하되, 단순 과제에는 잘 작동하지만 복수 코드나 함축적 의미가 있는 응답에서는 취약하고 집단별로 체계적으로 다른 해석을 내놓아 편향 우려가 있다는 평가 결과를 인용하면서, 인간 전문성을 대체하는 것이 아니라 보완하는 용도로 쓸 때 가장 효과적이라고 정리한다. 이 밖에 조사 워크플로 도구, 화상 인지면접, AI와 소셜미디어를 활용한 설문 평가도 언급된다.

5장. 표집틀과 표본추출 (Frames and Sampling)

전반부는 표집틀이다. 가구·개인 조사에 쓰이는 주요 틀 유형으로 지역틀(area frame), 주거틀(dwelling frame), 전화번호틀, 개인틀(person frame)을 제시하고, 틀의 구축, 유지, 갱신 전략을 실무 품질 관리 관점에서 안내한다. 후반부는 표본설계다. 기본 표본추출 유형들과 그 조합, 표본크기 산정과 배분 방법에 대한 실무 지침, 그리고 틀과 표본설계의 상호작용을 보여 준다. 접근 곤란 모집단(hard-to-survey populations)에 도달하기 위한 고급 기법들도 신흥 용법으로 소개된다. 모집단 추론의 정당성이 어디서 오는지를 다루는 앞부분(표본에서 모집단으로의 추론)은 조사 통계의 원리를 다시 정리해 두기에 좋은 절이다.

실무자에게 유용한 것은 틀별 강약점의 정리다. 지역틀은 커버리지가 넓지만 구축과 갱신 비용이 크고, 주거틀은 다단계 설계의 기반이 되며, 전화번호틀은 접촉정보를 내장하지만 커버리지와 중복의 관리가 관건이고, 인구등록부 기반 개인틀은 그것이 갖춰진 나라에서 강력한 선택지가 된다. 어떤 틀을 쓸 수 있는지가 어떤 표본설계와 조사모드가 가능한지를 규정한다는 것이 이 장의 일관된 논리이며, 낡은 주거틀을 신축 주택 프레임으로 보완하는 식의 복수 틀 결합 전략도 안내된다.

6장. 자료수집 (Data Collection)

실사 전 과정을 다루는, 사실상 실사 운영 매뉴얼에 가까운 장이다. 자료수집의 목표 설정에서 시작해 실사팀 조직, 훈련(방식, 모드, 내용, 물류), 조사 홍보(공중, 지역사회, 지방정부의 협조 확보), 그리고 표본 구성원 접근, 접촉, 협조 획득, 면접 수행이라는 수집 실행의 세부 단계를 안내한다. 생산 모니터링(수집 과정의 표준화된 관찰과 관리)과 품질관리(프로토콜 준수 확인과 오류 최소화)에 상당한 지면이 배정되어 있고, 위기 상황에서의 자료수집도 별도로 다룬다.

종이에서 태블릿으로의 전환, 즉 PAPI에서 CAPI로의 이행을 다룬 부분도 실무적이다. 모드 전환이 측정에 영향을 주는지에 대한 실증 연구(튀니지에서 PAPI를 CAPI로 바꿔도 집권당 관련 응답이 달라지지 않았다는 사례)를 인용하고, 기기 조달과 전력·통신 여건의 사전 평가, 도난에 대비한 기기 위장과 저장 데이터 암호화 같은 보안 조치까지 챙긴다. 개발도상국 실사 현장의 사정이 반영된 대목이다.

이 장의 신흥 접근 절이 새로운 조사모드를 모아 둔 곳이다. 대화형 음성응답(IVR), 문자메시지(SMS), 앱 기반 조사, 화상면접(CAVI/VMI)이 여기서 소개된다. SMS는 휴대전화 보급 확대로 쉬워진 방식이지만 아주 짧은 조사, 조사 참여 안내의 전달, CAPI/CATI 후속의 혼합모드 구성요소로 적합하다는 정도로 서술되며, 민감한 주제에서 사회적 바람직성 편향을 줄이는 데 유용할 수 있다는 언급이 붙는다. 화상면접은 코로나19를 계기로 확산된 사례로 2020년 미국 선거연구(ANES)와 이탈리아 노동력조사(ILFS)의 방법론 보고서가 인용된다. 머신러닝의 실사 적용도 다뤄지는데, 개방형 응답의 실시간 전사와 코드 추천(인도 통계청의 산업·직업·시간활용 분류 지원 사례), 품질관리 지표의 우선순위 선별, 수집과 동시에 도는 이상 데이터 탐지 같은 사례가 소개된다.

7장. 자료처리 (Data Processing)

원자료를 분석 가능한 최종 자료로 바꾸는 과정이다. 면접 자료의 수신과 표본·패러데이터·지리정보 등 보조 데이터셋과의 통합, 구조·범위·일관성·타당성 점검과 편집, 분류와 코딩, 처리 작업들의 일정 배치, 무응답 대체(imputation), 재코딩과 파생변수, 분석용 최종 파일 준비, 메타데이터, 자료 보관과 보존까지를 순서대로 안내한다. 점검·편집·코딩 작업을 조사 주기 어디에 배치할지를 별도 절로 다룬 점이 눈에 띄는데, 수집 종료 후로 미루지 말고 수집과 병행해 앞당길수록 오류의 조기 발견과 현장 개입이 가능해진다는 논리다. 신흥 접근으로는 AI를 활용한 처리 자동화가 논의된다. 4장과 6장에서 소개된 개방형 응답의 자동 분류가 처리 단계에서도 이어지며, 여기서도 인간 검토와의 병행이 단서로 붙는다.

8장. 가중 (Weighting)

확률표본 조사의 가중치 산출을 원리에서 실무 절차로 옮겨 주는 장이다. 설계가중치, 무응답 조정, 칼리브레이션이라는 주요 단계에 적격성 조정과 절사(trimming) 같은 부가 단계를 더해 설명하고, 다단계 표본설계에서의 가중치 개발과 과정 전반의 품질 진단에 무게를 둔다. 패널조사와 표본 통합(pooling)이라는 특수 주제도 다룬다.

이 장의 신흥 접근 절은 비확률표본에서 비편향 추정을 추구하는 데이터 통합 기법을 다룬다. 비확률표본의 근본 한계를 설계가중치를 계산할 수 없다는 것으로 규정하고, 포함확률이 0인 단위가 만드는 커버리지 편향(페이스북 조사에서의 비온라인 인구)과 포함확률이 알려지지 않고 불균등해 생기는 선택 편향(정치적 신념이 강한 사람이 과대대표되는 옵트인 웹패널)을 예시로 든다. 특히 표본이 커질수록 이런 편향이 악화되는 경향이 있다는 이론·실증 연구(Meng 2018 등)를 인용한 대목은 '표본이 크니 괜찮다'는 통념에 대한 경고로 읽힌다. 제안된 통합 기법들의 공통 원리는 비확률 자료를 센서스나 확률표본처럼 대표성이 확보된 데이터와 결합하는 것인데, 이때 선택 메커니즘을 온전히 설명하거나 관심변수를 효과적으로 예측하는 가교(bridge) 변수가 있어야 한다는, 결코 가볍지 않은 가정이 성립해야 한다는 점을 분명히 한다.

9장. 분석 (Analysis)

분석계획 수립이 조사설계와 2차 분석을 어떻게 이끄는지에서 시작해, 표본설계를 반영한 추정(분산추정 방법 포함), 총계·평균·비율·분위수 같은 기술 모수, 하위집단 비교와 범주형 변수 간 연관성, 복합설계 자료에서 가중치를 반영한 선형·로지스틱 회귀까지 단계적으로 올라간다. 점추정치에 오차범위를 반드시 함께 제시하라는 원칙과, 불확실성을 함께 표현하는 데이터 시각화 관행이 강조된다.

표와 시각화에 각각 절을 배정한 점도 언급해 둘 만하다. 통계표의 구성 원칙과 함께, 그래프에서 추정치를 불확실성 표시와 같이 제시하는 방법이 다뤄진다. 오차범위 없는 점추정치의 나열이 조사 결과 보도의 흔한 관행이라는 점을 생각하면, 공식 지침이 이 부분을 명시한 것은 결과를 소비하는 쪽의 문해력에도 기준을 제공하는 셈이다.

마지막의 '앞으로의 과제' 절은 설계기반 추론의 한계를 인정하는 대목이다. 설계기반 접근은 모형 가정 없이 타당한 추론을 주지만 큰 표본을 요구하는데, 더 세밀하고 잦은 추정에 대한 수요가 커지면서 모형기반 추론, 비확률표본 추론, 소지역추정 같은 새 패러다임을 수용할 준비가 필요하다고 적었다. 공식통계의 보수적 문서치고는 솔직한 서술이다.

10장. 공표 (Dissemination)

조사 결과 공표의 원칙, 보고서·마이크로데이터 등 산출물 생성, 소통 전략과 이용자 관여, 산출물 활용도 추적을 다룬다. 신흥 접근으로 혁신적 데이터 상품과 활용 모니터링 기법이 소개되는데, 1장에서 예시로 든 통계청(Statistics Korea)의 온라인 마이크로데이터 분석 도구처럼 이용자가 데이터를 내려받지 않고도 분석 결과를 얻는 대화형 도구가 주목받는 사례로 언급된다. 공표를 보고서 발간으로 끝나는 일이 아니라 이용자와의 지속적 관계로 보는 시각이 이 장의 바탕에 깔려 있다. 기자 브리핑, 이해관계자 워크숍, 인포그래픽과 영상, 통계 문해력 교육까지가 공표 활동의 목록에 들어 있고, 산출물이 실제로 얼마나 어떻게 쓰이는지를 추적해 다음 기획에 반영하라는 권고로 이어진다. 비확률조사를 포함해 조사 품질의 한계를 이용자에게 어떻게 알릴 것인가라는, 1장에서 예고된 주제도 이 장에서 마무리된다.

4. 2부: 주제, 집단, 국가 특수성

2부(11~17장)는 특정 주제나 인구집단, 국가 여건에서 별도의 주의가 필요한 영역을 다룬다. 각 장은 1부에서 확립된 절차를 해당 영역에 적용할 때 무엇이 달라지는지에 집중하며, 대체로 1부보다 짧다. 주제 영역을 다루는 장(교육, 거버넌스·범죄피해, 노동, 자산), 모든 조사에 적용되는 원리를 다루는 장(젠더 관점), 특정 집단과 국가 여건을 다루는 장(강제이주민, 군소도서개발국)으로 성격이 나뉜다.

11장(교육 측정)은 가구조사를 교육통계의 보완적 또는 대안적 출처로 쓸 때의 설계 문제를 다룬다. 취학, 학력 수준의 측정 같은 기본 설계 이슈에 더해 직업훈련, 문해력과 ICT 스킬, 교육비 지출 같은 심화 주제를 안내하고, 수료율이나 학교 밖 아동 비율 같은 지표에서 조사자료와 행정자료의 통합이 갖는 중요성을 강조한다.

12장(거버넌스·범죄피해 측정)은 부패, 사법 접근성, 정치 참여, 신뢰, 공공서비스 효능, 범죄피해처럼 민감한 주제의 조사 설계를 다룬다. 다양한 이해관계자가 참여하는 폭넓은 협의 과정을 통해 적절성, 국가적 주인의식, 투명성을 확보하라는 권고와 함께, 정치적으로 민감한 데이터의 공표를 뒷받침하는 투명한 공표 프로토콜의 중요성을 별도로 논의한다. 조사 결과가 정부 자신에 대한 평가를 담게 되는 주제인 만큼, 발표 시점과 방식이 사전에 규칙으로 정해져 있어야 결과에 따라 공표가 좌우된다는 의심을 차단할 수 있다는 논리인데, 국내의 정책조사 실무에도 시사하는 바가 있는 대목이다.

13장(노동 측정)은 ILO 국제기준에 부합하는 노동력조사(LFS)의 방법론을 다룬다. 국제노동통계인총회(ICLS) 결의의 주요 내용, 설문 설계와 표본 전략, 가중 조정, 행정자료의 보조적 활용을 안내하고, 새 기준 도입 시 시계열 단절에 대한 오해를 막기 위한 소통 전략의 필요성을 논의한다. 기준 개정으로 지표가 움직였을 때 그것이 실체의 변화인지 측정의 변화인지를 이용자에게 설명하는 일이 통계기관의 책임이라는 시각이 담겨 있다.

14장(자산 측정)은 소득·소비 중심이던 경제적 후생 측정에서 자산이 갖는 보완적 가치를 다룬다. 순자산의 정의, 자산 항목과 분류, 수집 전략, 품질 이슈를 안내하는데, 고소득국 중심으로 발전해 온 자산조사 지침을 저·중소득국 여건에 맞게 조정한 최근 작업을 소개한 점이 눈에 띈다. 국가 간 마이크로데이터 비교가능성을 높이기 위한 기본·확장 수집항목 세트도 제시된다.

15장(젠더 관점의 주류화)은 여성 대상 조사만이 아니라 모든 조사에서, 기획부터 공표까지 데이터 가치사슬 전 단계에 걸쳐 젠더 이슈를 체계적으로 다루고 젠더 편향을 완화하는 방법을 안내한다. 표본설계에서 응답자 선정 규칙이 성별 대표성에 미치는 영향, 면접원 성별의 배치, 문항 표현에 스며드는 가정들처럼 조사 공정의 세부에서 편향이 생기는 경로를 단계별로 확인한다는 접근이며, 젠더 특화 조사가 아닌 일반 조사에 적용하라는 요구가 이 장의 요점이다.

16장(난민·국내실향민 조사)은 규모와 정책적 중요성이 커지는데도 조사에서 흔히 배제되는 강제이주민을 다룬다. 이주민의 정의와 분류, 캠프와 수용 지역사회의 표본 전략, 이주 식별·서류·정착 의향 관련 설문 설계, 그리고 면접원 선발과 훈련, 허가, 세이프가딩, 데이터 보호 같은 수집 단계의 윤리적 과제를 안내한다.

17장(군소도서개발국 조사)은 지리적 분산, 작은 인구, 환경 리스크, 제한된 기관 역량이라는 SIDS 특유의 조건에서 조사 관리, 설문 설계(기후변화 모듈 포함), 표본, 실사 물류, 그리고 비밀보호 위험 때문에 제약되는 공표 문제를 다룬다.

5. 책 전체에 반복되는 논점들

595쪽을 통독하지 않더라도, 몇 가지 논점이 여러 장에 걸쳐 반복된다는 사실은 알아둘 만하다.

첫째, 확률표본 원칙의 고수와 비확률표본에 대한 조건부 개방이 공존한다. 핸드북의 공식 입장은 확률표본과 설계기반 추론이지만, 1장, 8장, 9장이 각각 다른 각도에서 비확률표본을 다루는 데서 보듯 이 주제를 회피하지 않는다. 비확률 자료의 편향 구조를 설명하고, 큰 표본이 편향을 키울 수 있다는 연구를 인용하고, 그럼에도 확률표본이 불가능한 상황을 위한 데이터 통합 기법과 모형기반 추론을 신흥 접근으로 소개한다. 금지가 아니라 조건의 명시라는 태도다.

둘째, 혼합모드로의 이행이 기정사실로 다뤄진다. 일부 국가의 공식조사가 이미 혼합모드로 옮겨 갔다는 서술과 함께, 순차·동시 설계의 선택, 모드 효과의 관리, 모드 간 문항 동등성 확보, 모드를 가로지르는 표본·자료 관리 시스템 요건이 1장, 4장, 6장, 7장에 나뉘어 배치되어 있다. 혼합모드를 검토하는 조직이라면 이 네 장을 묶어 읽는 편이 낫다.

셋째, AI와 머신러닝이 특정 장이 아니라 전 공정에 스며 있다. 설문 문항의 개발·평가(4장), 기계번역 검수(4장), 개방형 응답 코딩(4장, 6장), 면접원 지원 챗봇과 코드 추천(6장), 패러데이터 기반 실시간 품질관리(6장), 자료처리 자동화(7장)까지 용례가 이어진다. 일관된 단서는 인간 검토의 병행이다. 기계번역은 반드시 사후 편집을 거치고, LLM 코딩은 인간 코딩을 보완하는 용도로 쓰고, AI 산출물은 학습데이터의 출처와 적용 대상의 일반화 가능성을 따져 보라는 권고가 반복된다.

넷째, 응답자 부담과 포용성이 설계 변수로 승격되어 있다. 이미 있는 데이터로 답할 수 있으면 조사를 하지 말라는 2장의 판단 프레임, 행정자료로 조사 문항을 대체해 부담을 줄인 캐나다 소득조사와 EU-SILC 사례, 배제 위험이 있는 하위집단의 목록화에서 시작하는 포용적 수집 절차가 그 예다. 대표성 있는 표본과 하위집단별 통계 생산이 포용적 수집 없이는 성립하지 않는다는 논리 구조가 반복적으로 등장한다.

다섯째, 품질을 사후 검증이 아니라 공정 내 관리로 다룬다. 6장의 생산 모니터링과 품질관리, 7장의 점검·편집 작업 전진 배치, 8장의 가중 단계별 진단, 그리고 여러 장에 등장하는 패러데이터의 활용이 같은 방향을 가리킨다. 수집이 끝난 뒤 데이터를 손보는 것이 아니라, 수집이 진행되는 동안 문제를 발견하고 개입할 수 있는 체계를 갖추라는 것이다. 여기에 머신러닝을 결합해 이상 데이터를 실시간으로 걸러내는 사례들이 신흥 접근으로 붙는다.

6. 어떻게 읽을 것인가

이 핸드북을 웹조사나 모바일 조사의 실무 지침서로 기대하면 얇다고 느낄 것이다. 서술의 기준선이 대면면접이고, 웹은 상대적으로 간략히, SMS·IVR·앱·화상면접은 신흥 접근 절에 짧게 배치되어 있다. 통신사 데이터베이스를 표집틀 삼아 문자로 조사 링크를 보내는 방식 같은 국내 실무의 구체적 형태는 본류로 다뤄지지 않는다. 국가통계기구가 1차 독자이고 개발도상국까지 포괄해야 하는 문서의 성격을 감안하면 자연스러운 배분이다.

대신 참조문서로서의 값어치는 상당하다. 몇 군데를 꼽자면 이렇다. 5장의 표집틀 논의는 전화번호틀과 복수 틀 결합을 포함해 틀 품질을 따지는 기준을 제공하므로, 어떤 조사의 표집틀이 무엇이고 그 커버리지가 어떤지 설명해야 할 때 기댈 만한 전거가 된다. 8장의 비확률표본 가중 논의는 옵트인 패널이나 자발적 참여 자료를 다루는 조사자가 자기 방법의 위치와 한계를 서술할 때 인용하기 좋다. 4장의 설문 설계와 번역 절차, 특히 MTPE 권고와 생성형 AI 활용의 단서 조항들은 AI를 조사 공정에 들이는 조직의 내부 기준을 세우는 데 참고가 된다. 그리고 1장의 모드 효과 정리는 혼합모드 조사의 결과 해석을 두고 발주처와 논의할 때 공통 언어가 되어 줄 수 있다.

역할에 따라 독서 경로를 달리 잡을 수도 있다. 조사 기획과 발주를 다루는 사람이라면 2장과 3장이 먼저다. 신규 조사 여부를 판단하는 프레임과 일정·예산·리스크 관리의 원칙이 담겨 있고, 과업지시서나 제안요청서의 요구 수준을 국제 기준에 비추어 볼 근거가 된다. 설문을 만드는 사람에게는 4장이 사실상 독립된 교과서 구실을 한다. 표본과 가중을 담당한다면 5장과 8장을 이어서 읽는 편이 좋은데, 틀의 품질이 가중 단계의 조정 여지를 규정한다는 연결이 두 장에 걸쳐 있기 때문이다. 실사 조직을 운영하는 사람에게는 6장의 훈련·모니터링·품질관리 절이, 결과 보고를 쓰는 사람에게는 9장의 오차범위 병기 원칙과 10장의 공표 원칙이 해당된다.

품질 서술의 전거로 쓸 수 있다는 점도 실무적으로 중요하다. 조사 제안서나 결과보고서에서 방법론적 선택을 정당화해야 할 때, 40년 만에 갱신된 유엔의 공식 지침을 인용할 수 있게 된 것이다. 특히 비확률표본의 한계 고지, 혼합모드의 효과 관리, 응답자 부담 최소화 같은 주제에서 이 문서의 문장들은 그대로 근거 문헌이 된다.

국내 조사 환경에 대입해 보면 흥미로운 대비가 생긴다. 이 핸드북이 기준선으로 삼는 대면면접 중심의 국가통계 조사는 한국에서도 통계청과 국책기관의 영역으로 남아 있지만, 민간과 공공 발주 조사의 상당 부분은 이미 전화조사와 웹·모바일 조사로 옮겨 온 지 오래다. 그 결과 국내 실무는 핸드북이 신흥 접근으로 분류한 방법들을 일상으로 쓰면서도, 그 방법의 이론적 정당화는 핸드북이 본류로 삼는 확률표본의 언어에 기대야 하는 위치에 있다. 이 간극을 메우는 데 이 문서가 쓸모 있다. 자기 방법이 확률표본의 이상에서 어디가 얼마나 떨어져 있는지, 그 거리를 어떤 설계와 보정으로 좁히고 있는지, 남는 한계를 어떻게 고지할 것인지를 서술하는 공통의 어휘를 제공하기 때문이다. 방법의 우열을 가리는 문서가 아니라 방법의 위치를 말하게 하는 문서로 읽으면 활용도가 커진다.

7. 맺으며

1984년판이 나온 뒤 40여 년 동안 조사 환경은 여러 번 바뀌었다. 전화조사의 전성기와 쇠퇴, 웹조사의 부상, 응답률의 장기 하락, 그리고 최근의 AI까지. 이번 핸드북은 그 변화를 확률표본과 설계기반 추론이라는 전통 위에서 소화하려는 시도다. 새 방법에 문을 열되 조건을 명시하고, 오래된 원칙을 지키되 그 한계를 인정하는 균형이 문서 전반에서 유지된다.

물론 최종 초안인 만큼 다듬어질 부분도 남아 있다. 장별로 문체와 상세도의 편차가 있고, AI 관련 서술은 출간 시점의 기술 상황에 묶여 있어 온라인 갱신이 실제로 얼마나 기민하게 이뤄지느냐가 문서의 수명을 좌우할 것이다. 신흥 접근 절의 내용 다수가 아직 권고라기보다 소개 수준이라는 점도 감안하고 읽어야 한다. 그래도 조사방법론의 국제 표준 문헌이 40년 치의 변화를 한 번에 반영해 갱신되었다는 사실 자체의 무게는 작지 않다.

최종 초안이 통계위원회에 제출되었고 온라인 플랫폼을 통한 갱신이 예고된 만큼, 앞으로 각 장의 신흥 접근 절이 어떻게 자라나는지 지켜보는 것도 이 문서를 읽는 한 방법일 것이다. 조사업에 몸담은 사람이라면 최소한 1장과 자기 업무에 해당하는 장 하나는 읽어 둘 만하다. 원문은 유엔 통계위원회 제57차 회기 문서 페이지에서 내려받을 수 있다.