2026년 11월 19일 목요일

생애사 문항, 일회성 조사로 어디까지 할 수 있나

 

생애사 문항, 일회성 조사로 어디까지 할 수 있나

실제 조사표 문항으로 살펴본 회고 문항의 쓰임과 한계

1. 패널 없이 지나온 시간을 묻는다는 것

패널조사는 같은 사람을 몇 년씩 따라가며 변화를 기록한다. 결혼을 언제 했는지, 첫 직장을 몇 년 다녔는지, 그사이 생각이 어떻게 바뀌었는지를 그때그때 적으니 정확하다. 대신 돈과 시간이 많이 든다. 표본을 유지하는 데 해마다 비용이 나가고, 보고 싶은 변화가 쌓이려면 몇 년을 기다려야 한다.

그래서 한 번의 조사에서 응답자가 지나온 삶을 거슬러 묻는 방법을 떠올리게 된다. 몇 살에 처음 취업했는지, 언제 결혼했는지, 어린 시절 어디서 자랐는지를 차례로 물으면 패널이나 코호트 조사와 비슷한 자료를 만들 수 있지 않을까. 이렇게 과거의 사건과 상태를 묻는 회고 문항을 모아 생애사 문항(life history questions)이라고 부른다.

미리 답을 적어 두면 절반은 된다. 시점이 분명한 사건은 회고로도 꽤 정확하게 재구성된다. 반면 태도나 주관적 상태를 회고로 물으면 응답자는 지금 생각에 맞춰 과거를 고쳐 답한다. 이 글은 실제 조사표에 실린 생애사 문항을 예로 들어 어떤 형태가 있고 어디서 틀리는지 살펴본 뒤, 휴대전화웹조사에서 쓸 때의 설계 원칙을 덧붙인다. 문항 예시는 모두 공개된 조사표에서 옮겼고, 영어 문항에는 우리말 번역을 붙였다.

2. 회고 자료로 얻을 수 있는 것

생애사 문항으로 얻는 첫 번째 자료는 사건사 자료다. 사람마다 어떤 사건이 언제 일어났는지 알면 첫 취업에서 결혼까지 걸린 시간 같은 값을 계산할 수 있다. 아직 결혼하지 않은 사람은 조사 시점까지 사건이 일어나지 않은 사례(중도 절단)로 두고 생존분석에 넣는다. 일자리 이력을 연 단위로 받으면 사람마다 학업, 취업, 육아, 재취업으로 이어지는 순서를 만들 수 있어서 계열분석(sequence analysis)도 할 수 있다.

국내에서 가장 공들인 사례는 고령화연구패널(KLoSA)의 2007년 직업력조사다. 2006년에 시작한 패널 가운데 9,026명(원표본의 약 88%)에게 15세 이후 했던 모든 일자리를 연 단위로 물었다. 패널이지만 이 조사는 회고 방식이었다. 2006년 이후의 일만 쌓아서는 지금 고령자의 근로생애를 알 수 없었기 때문이다. 연구진은 회고 조사가 기억에 의존해 정확성이 떨어진다는 한계를 알면서도, 과거 직업력을 확보해 두면 이후 분석에서 좌측 절단 문제를 보완할 수 있다고 판단했다. 이 자료로 장지연·이혜정(2008)은 사건계열분석을 써서 중고령자의 근로생애 유형을 나눴다. 출생 시기별 근로생애를 비교한 다른 연구는 베이비붐 세대가 앞 세대보다 생애 주직장에 빨리 안착했지만, 외환위기 때문에 40대 후반에 주직장을 유지한 비율이 크게 낮아졌다는 결과를 냈다.

두 번째로 얻는 것이 더 중요하다. 보통의 횡단 조사에서는 나이와 출생 코호트가 겹친다. 올해 조사한 60대와 30대의 차이가 나이 때문인지 세대 때문인지 가를 방법이 없다. 회고 자료가 있으면 같은 나이를 기준으로 코호트를 비교할 수 있다. 30세까지 결혼한 비율이나 25세까지 첫 취업한 비율을 1970년대생과 1990년대생으로 나눠 계산하면 코호트 조사와 비슷한 비교가 된다.

이 방식을 가장 오래 써 온 조사는 일본의 SSM 조사(사회계층과 사회이동 전국조사)다. 1955년부터 10년마다 하는 횡단조사인데, 본인의 직업 경력과 부모의 사회적 지위를 거의 같은 형식으로 매번 묻는다. 1955·65·75년 자료를 합쳐 5년 단위 출생 코호트별로 전쟁 전후의 직업 경력을 재구성한 연구가 있고, 2015년 자료의 직업력에 소득함수를 적용해 65세 이상 남성의 평생 소득 이력을 추정한 연구(有田伸)도 나왔다. 독일 생애사 연구(German Life History Study)는 1919~21년생, 1929~31년생처럼 출생 코호트를 정해 놓고 서독과 동독 남녀 12,000여 명을 조사했다.

고령자 패널들은 생애사를 별도 회차로 받는 경우가 많다. 유럽 SHARE는 3차 조사(2008~2009년)를 통째로 생애사 회고 조사(SHARELIFE)로 진행했고, 3차 이후 합류한 나라와 신규 응답자에게는 7차에 다시 받아 27개국 6만 명이 넘는 생애사를 모았다. 영국 ELSA는 2007년에, 중국 CHARLS는 2014년에 생애사 조사를 따로 했다. 미국 HRS는 면접 대신 우편 자기기입식 설문(Life History Mail Survey)으로 50세 이전 이력을 받았는데, 2015년에 11,256명에게 보내 6,481명이 응답했다(응답률 58%).

3. 실제 조사표로 본 생애사 문항의 형태

생애사 문항은 묻는 대상에 따라 몇 가지 형태로 나뉜다. 아래 예시는 모두 공개된 조사표에서 그대로 옮겼다.

사건의 시점을 한 번 묻는 문항

가장 단순한 형태다. 미국 HRS의 2017년 가을 생애사 우편조사 설문지에서 두 문항을 옮긴다.

출처: Health and Retirement Study, Life History Mail Survey 2017 Fall 설문지 (영어 원문, 번역은 필자)

Q3  How old were you when you first stopped living with your parent(s) or guardian(s) to live on your own or establish your own home?

번역  부모나 보호자와 함께 살다가 처음으로 따로 나가 혼자 살거나 살림을 차린 것은 몇 살 때였습니까?

□ Not relevant/Never left parents to live on my own. (해당 없음/부모 곁을 떠나 따로 산 적 없음)

Q13  How old were you when you started your first full-time job?

번역  처음으로 전일제 일자리를 시작한 것은 몇 살 때였습니까?

□ Not relevant/Never worked full-time → Go to Q18 on the next page (해당 없음/전일제로 일한 적 없음 → 다음 쪽 Q18로)

 

두 문항 모두 연도 대신 나이를 묻는다. 수십 년 전 일을 달력 연도로 떠올리기보다 그때 몇 살이었는지로 떠올리는 편이 쉬운 응답자가 많다. 사건을 겪지 않은 사람을 위한 보기도 따로 뒀다. 생존분석에서는 이 사람들이 중도 절단 사례가 되므로, 이 보기가 없으면 미경험자와 무응답자를 구분할 수 없다. 첫 독립과 첫 전일제 일자리처럼 '첫' 사건을 고른 점도 눈여겨볼 만하다. 두 번째, 세 번째 사건으로 갈수록 기억은 흐려지고 문항은 길어진다.

국내 공식통계에도 이 형태가 있다. 경제활동인구조사의 청년층 부가조사는 최종학교 졸업(중퇴) 후 첫 일자리에 취업하기까지 걸린 기간과 첫 직장 근속기간, 첫 일자리에 취업할 당시 임금, 첫 일자리를 그만둔 사유를 묻는다. 고령층 부가조사는 생애 가장 오래 근무한 일자리의 근속기간과 그만둔 연령·이유를 묻는다. 매년 5월 같은 문항을 반복하므로 회고 문항이 시계열이 된다. 2026년 조사에서 55~64세 가운데 가장 오래 근무한 일자리를 이미 떠난 사람의 평균 이탈 연령은 49.0세였다. 법정 정년 60세보다 11년 이른 이 숫자도 회고 문항으로 얻은 값이다. 다만 청년층 부가조사는 2017년부터 조사 대상을 15~29세에서 15~34세로 넓혔으므로, 시계열을 비교할 때는 대상 연령을 맞춰야 한다.

사건을 빠짐없이 나열하게 하는 문항

자녀나 일자리처럼 사건이 여러 번 일어날 수 있으면 하나씩 나열하게 해야 한다. 이때 가장 큰 문제는 빠뜨림이다. 인구보건조사(DHS) 표준 여성 설문지의 출생력 문항은 이 문제를 다루는 순서가 잘 짜여 있다.

출처: The DHS Program, DHS-5 Model Woman's Questionnaire (2008) (영어 원문, 번역은 필자)

201~208번: 함께 사는 아들·딸 수, 따로 사는 아들·딸 수, 출생 후 사망한 아들·딸 수를 차례로 묻고 면접원이 합산

209  Just to make sure that I have this right: you have had in TOTAL ___ births during your life. Is that correct?

번역  제가 제대로 적었는지 확인하겠습니다. 평생 모두 ___명을 출산하셨습니다. 맞습니까?

211  Now I would like to record the names of all your births, whether still alive or not, starting with the first one you had.

번역  이제 지금 살아 있는지와 관계없이, 첫째부터 차례로 낳은 자녀 모두의 이름을 적겠습니다.

 

이 문항 묶음은 이름부터 적게 하지 않는다. 같이 사는 자녀, 따로 사는 자녀, 출생 후 사망한 자녀로 나눠 수를 먼저 센다. 사망한 자녀는 따로 묻지 않으면 가장 쉽게 빠지는 사건이어서, DHS 계열 조사표는 울었거나 살아 있는 기색을 보였지만 살지 못한 아기가 없었는지 한 번 더 묻게 한다. 그다음 면접원이 합계를 읽어 주며 맞는지 확인하고, 그제야 첫째부터 이름을 적는다. 수를 센 결과와 목록을 맞춰 보며 빠진 자녀를 찾는 구조다.

국내에서는 한국보건사회연구원의 '전국 출산력 및 가족보건·복지 실태조사'가 기혼여성에게 임신 이력을 묻는다. 연구원은 1974~2012년 출산력 조사를 모아 한국의 출산력 변천을 분석한 보고서(오영희 외 2016)도 냈다. 반복 조사의 회고 이력을 합치면 한 번의 조사보다 긴 기간을 다룰 수 있다.

어린 시절 형편을 묻는 문항

생애사 조사는 사건만 묻지 않는다. 어린 시절 가정 형편처럼 지금의 결과에 앞선 조건도 묻는다. 이런 문항은 수치를 바로 묻지 않고 떠올리기 쉬운 장면으로 바꿔 묻는 경우가 많다.

출처: Health and Retirement Study, Life History Mail Survey 2017 Fall 설문지 (영어 원문, 번역은 필자)

Q11  When you were 10 years old, approximately how many books were in the place you lived? Do not count magazines, newspapers, or your school books.

번역  10살 때 살던 집에는 책이 대략 몇 권 있었습니까? 잡지, 신문, 교과서는 빼고 생각해 주십시오.

□ None or very few (0-10 books)  없거나 거의 없음(0~10권)

□ Enough to fill one shelf (11-25 books)  책꽂이 한 칸을 채울 정도(11~25권)

□ Enough to fill one book case (26-100 books)  책장 하나를 채울 정도(26~100권)

□ Enough to fill two bookcases (101-200 books)  책장 두 개를 채울 정도(101~200권)

□ Enough to fill more than two bookcases (more than 200 books)  책장 두 개 넘게 채울 정도(200권 초과)

 

10살 무렵 집에 책이 몇 권 있었는지 정확히 아는 사람은 없다. 대신 그 집 책장이 어땠는지는 떠올릴 수 있다. 보기에 책꽂이 한 칸, 책장 하나 같은 장면을 넣은 이유다. 같은 성격의 문항이 SHARELIFE에도 있어서, 이 자료를 쓴 연구들은 책의 양을 어린 시절 가정의 사회경제적 배경 지표로 쓴다. 기준 나이를 10살로 정한 점도 중요하다. 어린 시절이라고만 물으면 사람마다 떠올리는 시기가 달라진다.

출처: 「한국 유권자의 장기간 정치적 태도 변화에 대한 조사, 2023」 설문지, 한국사회과학자료원(KOSSDA) A1-2023-0098

DQ5  귀하가 태어나서 만14세까지 주로 거주하셨던 지역은 어디입니까?

① 서울 … ⑰ 세종(17개 시도)   ⑱ 기타(북한, 해외 등)

 

국내 정치 조사에서는 자란 지역을 묻는 문항을 자주 본다. 지역주의 연구에서는 지금 사는 곳과 자란 곳을 나눠 보는 경우가 많아 이 변수가 필요하다. 이 문항도 어린 시절 대신 만14세까지로 기간을 정했고, 북한과 해외를 보기에 넣어 17개 시도 밖에서 자란 사람이 답할 곳을 만들었다.

과거 행동을 묻는 문항: 투표 회고

정치 조사에서 가장 흔한 회고 문항은 지난 선거의 투표다. 앞의 2023년 조사는 대통령선거 세 번을 거슬러 묻는다.

출처: 「한국 유권자의 장기간 정치적 태도 변화에 대한 조사, 2023」 설문지, KOSSDA A1-2023-0098

QA4  귀하께서는 지난 2022년 제20대 대통령 선거에서 투표하셨습니까?

① 투표하지 않았다   ② 늘 투표하는 편이나 그 때는 하지 않았다

③ 투표하려고 했으나 사정상 하지 못했다   ④ 마음에 드는 후보가 없어서 투표 불참으로 나의 의사를 표현했다

⑤ 투표권이 없어 투표하지 못했다   ⑥ 투표했다   ⑦ 기억나지 않는다

QA4_1  2022년 제20대 대통령 선거에서 어느 후보에게 투표하셨습니까?

① 이재명   ② 윤석열   ③ 심상정   ④ 기타(   )   ⑤ 기억나지 않는다

같은 형식으로 2017년 제19대(QA5), 2012년 제18대(QA6) 대통령 선거를 차례로 묻는다.

 

투표 여부의 보기가 눈에 띈다. 투표하지 않았다 외에 '늘 투표하는 편이나 그 때는 하지 않았다', '투표하려고 했으나 사정상 하지 못했다' 같은 보기를 넣었다. 투표 참여는 사회적으로 바람직한 행동이라 조사에서 실제보다 높게 나온다. 불참을 인정하기 쉽게 체면을 지켜 주는 보기를 주면 과다 보고가 줄어든다는 연구가 있고(Duff 외 2007), 미국 선거연구(ANES)도 이런 보기를 쓴다. '기억나지 않는다'를 투표 여부와 후보 문항에 모두 넣은 점도 좋다. 10년도 더 지난 선거를 묻는데 이 보기가 없으면 응답자는 지금 지지하는 쪽을 고르기 쉽다.

서울대학교 정치커뮤니케이션센터의 2016년 총선 패널조사 1차 설문은 투표 회고에 앞서 4년 전 거주지를 묻는다.

출처: 서울대학교 정치커뮤니케이션센터, 「2016 국회의원 총선거 제1차 패널조사」(2016.3.24) 설문지, KOSSDA

SQ4  4년 전인 2012년에 귀하의 거주지(주민등록주소지 기준)는 어디셨습니까? 지금과 동일하다면, 동일하게 선택해 주시면 됩니다.

 

나이 대신 선거가 있던 해를 기준으로 삼았고, 이사하지 않은 응답자는 지금과 같은 곳을 고르면 되게 했다. 같은 설문은 이어서 2012년 대통령 선거와 국회의원 선거의 투표를 묻는다. 그 시기에 살던 곳을 먼저 떠올리게 한 다음 그해의 투표를 묻는 순서다.

여러 영역을 한꺼번에 받는 생애사 달력

일자리와 거주지, 배우자와 자녀처럼 여러 영역의 이력을 한꺼번에 받을 때는 생애사 달력(life history calendar, event history calendar)을 쓴다. 가로에 연도나 나이를 놓고 세로로 영역을 나눈 격자에 응답을 채워 가는 방식이다. SHARELIFE는 컴퓨터 면접 화면에 응답자의 생애를 격자로 띄우고 응답이 들어올 때마다 자동으로 채웠다. 면접은 보통 자녀 이름과 생년월일에서 시작해 배우자 이력으로 넘어간다. 정확히 기억할 가능성이 높은 사건부터 묻는 것이다. 이직 시점이 헷갈리는 응답자에게 면접원은 둘째가 태어나기 전이었는지 후였는지처럼 이미 기록된 사건을 기준으로 다시 묻는다.

달력 방식은 자전적 기억이 시기와 주제별로 묶여 있다는 연구에 바탕을 둔다(Belli 1998). 한 영역의 기억이 다른 영역의 기억을 떠올리는 단서가 된다. 이직한 해는 헷갈려도 그해 이사한 집은 기억하는 식이다. 고령화연구패널 직업력조사도 캘린더 방식을 썼고, 영국 ELSA 생애사 면접은 이 격자를 lifegrid라고 불렀다.

4. 회고 응답은 어디서 틀리는가

회고 오류는 무작위로 생기지 않는다. 틀리는 방향이 정해져 있어서 표본을 늘려도 줄지 않는다. 자주 생기는 유형을 표로 정리했다.

오류 유형

잘 생기는 곳

확인된 사례

설계에서 할 일

빠뜨림

짧은 실업, 단기 일자리, 사망한 자녀, 피임 기간

회사 기록과 대조한 실업 회고 연구(Mathiowetz & Duncan 1988), DHS 달력의 사산·피임 과소 추정

수를 먼저 세고 확인하기, 빠지기 쉬운 사건은 따로 묻기

시점 이동

사건 날짜, '지난 ○년 동안'을 묻는 문항

오래된 사건을 실제보다 최근으로 당겨 답하는 텔레스코핑(Neter & Waksberg 1964)

기준 사건을 먼저 받고 그 전후를 묻기

재구성

과거 태도, 과거 투표, 지지정당

1973년 태도 회고가 1982년 태도 쪽으로 쏠림(Markus 1986), 노르웨이 투표 회고 오류(Waldahl & Aardal 2000)

태도는 회고로 받지 않기

외부 통계와 어긋남

고령 코호트의 출산·결혼 이력

독일 GGS 회고 자료를 마이크로센서스와 비교(Sauer 외 2012)

외부 통계와 맞춰 볼 문항 넣기

분류 애매함

계절마다 바뀌는 일, 여러 일 겸업

고령화연구패널 2007년 직업력조사 예비조사

연 단위 '주로 한 일' 기준을 미리 정하기

표 1. 회고 응답에서 자주 생기는 오류

사람은 길고 중요한 사건은 기억하지만 짧고 사소한 사건은 잊는다. 실업 기간 회고를 회사 기록과 대조한 연구(Mathiowetz & Duncan 1988)에서는 짧은 실업이 보고에서 빠지기 쉬웠다. DHS의 출산·피임 달력을 분석한 방법론 보고서도 달력으로 받은 자료에서 사산과 피임 사용이 모두 과소 추정된다고 봤다. 앞서 본 DHS 출생력 문항이 사망한 자녀를 따로 묻는 것도 이 때문이다.

날짜는 사건보다 더 쉽게 틀린다. 응답자는 오래된 사건을 실제보다 최근에 일어난 일로 기억하는 경향이 있어서, '지난 5년 동안'처럼 기간을 정해 물으면 원래 그 밖에 있던 사건까지 끌어들인다(Neter & Waksberg 1964). 몇 년도였는지 바로 묻기보다 그때 몇 살이었는지, 첫째를 낳기 전이었는지 후였는지처럼 다른 기억과 견주게 하면 덜 틀린다.

회고 자료를 외부 통계와 비교하면 어긋남이 드러난다. 독일 세대와 젠더 조사(GGS)의 출산·배우자 이력을 마이크로센서스와 비교한 연구에서는 고령 코호트에서 무자녀 여성이 크게 과대 추정되고 중년 코호트에서는 과소 추정됐다. 배우자 이력에서도 고령 코호트에는 한 번도 결혼하지 않은 사람이, 젊은 코호트에는 기혼자가 너무 많이 잡혔다. 영국 ELSA의 회고 자료를 출생코호트 연구(NCDS)의 전향 자료와 비교한 연구(Jivraj 외)는 회고 자료가 어린 시절 조건과 중년기 삶의 연관성을 과대 추정했다고 보고했다. 회고로 받기에 맞지 않는 아동기 측정치가 생애사 자료에 빠진 것을 원인의 하나로 들었다. 회고 자료의 코호트 비교에는 표본 문제도 겹친다. 조사에 응한 사람은 지금 살아 있고 조사가 닿는 곳에 사는 사람뿐이다. 고령 코호트일수록 사망이나 이민으로 빠진 사람이 많고, 이렇게 빠지는 사람은 건강과 소득이 남은 사람과 다르다.

마지막 유형은 기억이 아니라 질문 설계의 문제다. 고령화연구패널 연구진은 2007년 직업력조사 예비조사에서 표준화된 문항으로 답하기 애매한 일자리가 많다는 것을 확인했다. 한 해에도 계절에 따라 종사상 지위가 바뀌거나 여러 직종을 오간 고령자가 많았기 때문이다. 이 자료를 분석한 연구는 연도마다 주로 한 일을 기준으로 삼고, 활동 기간이 비슷하거나 두 가지를 동시에 했으면 유급노동을 우선해 분류했다. 지금의 표준 분류로 수십 년 전의 일을 담으려면 이런 규칙을 미리 정해 둬야 한다.

5. 태도는 회고로 받지 않는다

작년에 어느 정당을 지지했는지를 묻는 식의 태도 회고 문항은 쓰지 않는 편이 낫다. 태도를 회고로 물으면 응답자는 과거의 생각을 꺼내 오지 못하고, 지금 생각을 기준으로 과거를 다시 만든다.

고전적인 증거는 마커스(Markus 1986)의 연구다. 1965년, 1973년, 1982년에 같은 사람들을 조사한 미국 정치사회화 패널에서, 1982년 응답자에게 1973년 당시 자신의 입장을 떠올려 답하게 했다. 떠올린 1973년 입장은 실제 1973년 응답보다 1982년 현재 입장에 훨씬 가까웠다. 사람들은 자기 생각이 실제보다 덜 변했다고 기억한다.

행동인 투표도 이 문제에서 자유롭지 않다. 노르웨이 선거 패널을 분석한 연구(Waldahl & Aardal 2000)에서 선거 직후 응답한 정당과 4년 뒤 회고한 정당을 비교했더니 약 25%가 틀리게 답했다. 정당을 바꾼 사람은 40%, 지난번에 투표하지 않은 사람은 70%가 틀렸다. 많은 응답자가 과거에 찍은 정당 대신 지금 지지하는 정당을 답한다. 오류가 정당을 바꾼 사람에게 몰리니 회고 문항으로 재면 정당 이동과 기권이 실제보다 적게 잡힌다. 작년 지지정당을 물어 1년 사이 지지가 얼마나 옮겨 갔는지 보려 하면, 보고 싶은 변화가 가장 많이 지워지는 셈이다.

과거 투표 회고로 표본의 정치 성향을 맞추는 가중치도 이 한계를 안고 있다. 캐나다와 프랑스의 선거 조사 자료로 이 방법을 검토한 연구(Durand 외 2015)는 선거 사이에 마음을 바꾸는 유권자가 적지 않고, 이들이 자기 투표를 잘 기억하지 못해 회고 오류가 무작위가 아니라고 지적했다. 이 연구는 지금 지지에 맞춰 과거를 고쳐 기억하는 효과가 보정 결과에 미치는 영향이 전체적으로는 크지 않았다고 봤다. 그래도 정당을 바꾼 사람의 회고가 가장 부정확하다는 점은 알고 써야 한다.

그렇다고 과거 태도를 아예 물을 수 없는 것은 아니다. 다만 해석이 달라져야 한다. 회고로 받은 과거 태도는 그때의 태도가 아니라 지금 기억하는 그때의 태도다. 응답자가 스스로 변했다고 느끼는지 알고 싶다면 쓸모가 있다. 과거 상태 자체가 필요하면 그때 물어 둔 자료, 곧 패널이나 반복 횡단조사에서 같은 연령대가 답한 값을 써야 한다. SHARELIFE는 행복했던 시기, 스트레스가 컸던 시기, 형편이 어려웠던 시기, 굶주렸던 시기를 묻는다. 이처럼 구체적인 시기와 경험에 묶어 물으면 막연한 태도 회고보다는 사정이 낫다고 본다.

6. 휴대전화웹조사에서 생애사 문항을 쓸 때

지금까지 본 생애사 조사는 대부분 면접원이 옆에서 거드는 대면 면접이었다. SHARE와 ELSA의 생애사 면접은 50분짜리였다. 혼자 작은 화면으로 답하는 휴대전화웹조사에서는 응답 부담이 훨씬 크고, 면접원이 하던 확인과 단서 제시를 화면 설계로 대신해야 한다.

해외에서는 자기기입식 온라인 생애사 수집이 늘고 있다. 세대와 젠더 조사(GGS)는 2라운드를 웹 위주로 진행했다. 현장 안내가 없으면 생애사가 과소보고될 수 있다는 우려가 있었는데, 에스토니아, 노르웨이, 핀란드, 덴마크, 스웨덴의 웹 출산력 자료를 인구통계와 비교한 연구(Leocádio 외 2023)는 코호트 지표에서 체계적 편차가 없고 기간 지표에서 작은 과소보고만 있었다고 보고했다. 영국에서는 ELSA가 2024년 회차 전체를 온라인 생애사 달력으로 받았고, Understanding Society도 온라인 달력 조사를 진행했다. 반면 영국 GGS 개발 과정에서는 온라인 자기기입식으로 격자형 달력에 바로 답하기 어렵다고 보고 격자 대신 요약표를 시험했다.

휴대전화웹조사에 생애사 문항을 넣는다면 다음을 권한다.

•     받을 사건을 줄인다. 첫 취업이나 첫 결혼처럼 대부분 기억하는 '첫' 사건 위주로 고르고, 일자리를 하나씩 반복해 받는 블록은 꼭 필요할 때만 쓴다. 반복이 길어질수록 중도 이탈이 늘어난다.

•     연도나 나이까지만 묻는다. 월은 분석에 꼭 필요할 때만 묻는다.

•     기준 사건을 먼저 받는다. 출생연도와 최종학교 졸업 연도를 먼저 받아 두고, 뒤 화면에 그 값을 보여 주며 다른 사건이 졸업 전인지 후인지 고르게 한다. SHARELIFE 면접원이 하던 일을 화면으로 옮기는 셈이다.

•     앞 응답과 맞지 않는 값은 바로 확인한다. 첫 취업 나이가 졸업보다 한참 이르거나 결혼 연도가 출생연도와 맞지 않으면 확인 화면을 띄운다. DHS가 합계를 읽어 주고 맞는지 묻는 방식과 같은 원리다.

•     '해당 없음'과 '기억나지 않음'을 따로 둔다. 앞의 것은 중도 절단 사례이고 뒤의 것은 결측이어서 분석에서 처리가 다르다.

•     투표처럼 사회적으로 바람직한 행동을 물을 때는 체면을 지켜 주는 보기를 넣는다.

•     여러 영역을 받을 때는 격자형 달력보다 영역별 문항 뒤에 요약표를 보여 주고 고치게 하는 편이 작은 화면에 맞다.

•     태도 회고는 넣지 않는다. 넣는다면 지금 기억하는 과거로 해석한다.

7. 맺으며

생애사 문항이 패널을 대신하지는 못한다. 그래도 사건의 시점을 묻는 문항 몇 개를 잘 넣으면 한 번의 조사로도 같은 나이 기준의 코호트 비교가 가능하다. 하나 덧붙이면, 생애사 문항을 넣을 때는 외부 통계와 맞춰 볼 수 있는 문항을 하나 이상 함께 넣어 두는 것이 좋다. 출생 코호트별 초혼 연령이나 자녀 수처럼 인구동향조사나 인구총조사로 검증할 수 있는 값이 있으면, 우리 표본의 회고 자료가 어느 코호트에서 얼마나 어긋나는지 직접 확인할 수 있다. 독일 GGS와 웹 GGS의 품질 검증도 이렇게 했다.

참고자료

Belli, R. F. (1998). The structure of autobiographical memory and the event history calendar: Potential improvements in the quality of retrospective reports in surveys. Memory, 6(4), 383-406.

Chang, G., Perelli-Harris, B., Maslovskaya, O., Berrington, A. et al. Testing summary tables in the life history questions of the UK Generations and Gender Survey. University of Southampton.

Domarchi, C., & Maslovskaya, O. (2026). Retrospective measurement of life events in online self-completion surveys. Online workshop, 4 November 2026.

Duff, B., Hanmer, M. J., Park, W.-H., & White, I. K. (2007). Good excuses: Understanding who votes with an improved turnout question. Public Opinion Quarterly, 71(1), 67-90.

Durand, C., Deslauriers, M., & Valois, I. (2015). Should recall of previous votes be used to adjust estimates of voting intention? Survey Insights: Methods from the Field.

Havari, E., & Mazzonna, F. (2015). Can we trust older people's statements on their childhood circumstances? Evidence from SHARELIFE. European Journal of Population, 31(3), 233-257.

Health and Retirement Study. 2017 Fall Life History Mail Survey Questionnaire; Smith, J. et al. Life History Mail Survey (LHMS) User Guide 2015-2017. University of Michigan.

Jivraj, S., Goodman, A., Ploubidis, G. B., & de Oliveira, C. Testing comparability between retrospective life history data and prospective birth cohort study data. Journals of Gerontology: Series B.

Leocádio, V. A., Gauthier, A., Mynarska, M., & Costa, R. (2023). The quality of fertility data in the web-based Generations and Gender Survey. Demographic Research, 49(3), 31-46.

Markus, G. B. (1986). Stability and change in political attitudes: Observed, recalled, and "explained". Political Behavior, 8(1), 21-44.

Mathiowetz, N. A., & Duncan, G. J. (1988). Out of work, out of mind: Response errors in retrospective reports of unemployment. Journal of Business & Economic Statistics, 6(2), 221-229.

Mayer, K. U. (2015). The German Life History Study: An introduction. European Sociological Review, 31(2), 137-143.

Neter, J., & Waksberg, J. (1964). A study of response errors in expenditures data from household interviews. Journal of the American Statistical Association, 59(305), 18-55.

Sauer, L., Ruckdeschel, K., & Naderi, R. (2012). Reliability of retrospective event histories within the German Generations and Gender Survey. BiB Working Paper 1/2012.

Schröder, M. (Ed.) (2011). Retrospective data collection in the Survey of Health, Ageing and Retirement in Europe: SHARELIFE methodology. Mannheim: MEA.

The DHS Program (2008). DHS-5 Model Woman's Questionnaire.

Waldahl, R., & Aardal, B. (2000). The accuracy of recalled previous voting: Evidence from Norwegian election study panels. Scandinavian Political Studies, 23(4), 373-389.

有田伸. 職歴データにもとづく稼得歴の推定. 『2015年SSM調査報告書』 第7巻.

白波瀬佐和子. 2015年「社会階層と社会移動に関する全国調査(SSM調査)」実施の概要. 『2015年SSM調査報告書』 第1巻.

국가데이터처(2026). 2026년 5월 경제활동인구조사 청년층 부가조사 결과; 2026년 5월 경제활동인구조사 고령층 부가조사 결과.

서울대학교 정치커뮤니케이션센터(2016). 2016 국회의원 총선거 제1차 패널조사 설문지. 한국사회과학자료원(KOSSDA).

신현구(2008). 고령화연구패널(KLoSA) 2007년 직업력조사 실사과정 보고. 월간 노동리뷰 2008년 3월호.

오영희·김경래·신창우·배혜원(2016). 출산력 조사(1974~2012)를 활용한 한국의 출산력 변천과정 연구. 한국보건사회연구원.

장지연·이혜정(2008). 중·고령자의 근로생애유형: 사건계열분석기법을 이용한 취업력 분석. 월간 노동리뷰 2008년 6월호.

「고령자의 근로생애: 산업노동 진입과 임금일자리 은퇴를 중심으로」. 월간 노동리뷰 2009년 4월호.

「베이비 붐 세대의 근로생애사 연구」. 보건사회연구 33(2).

한국 유권자의 장기간 정치적 태도 변화에 대한 조사, 2023 설문지. 한국사회과학자료원(KOSSDA) A1-2023-0098.

2026년 11월 18일 수요일

표집틀의 시대

 

표집틀의 시대

응답률이 떨어질수록 조사의 품질은 누구의 명단에서 뽑았느냐에 달려 있다

오승호 | 오피니언즈 부대표/서베이랩 리더

들어가며

조사 일을 20년 가까이 하면서 응답률이 오르는 것을 본 적이 없다. 올해 6월 지방선거를 앞두고 공표된 휴대전화 가상번호 ARS 조사 가운데 평택시 조사의 응답률은 9.1%, 인천 동구·중구 조사는 8.0%였다. 한국조사협회가 2023년 10월 마련한 정치·선거 전화여론조사 기준도 전국 전화면접조사 응답률 하한을 가상번호 10%, RDD 7%로 잡았다. 열 명에게 연락해 한 명이 답하면 기준을 넘는 시대다.

미국도 사정은 비슷하다. 퓨 리서치 센터가 우편으로 주소지에 조사를 요청하는 전국 기준 조사(NPORS)의 2025년 응답률은 AAPOR 기준 RR1로 29%였다. 퓨의 온라인 패널(ATP)은 한 차수 조사 응답률이 90%지만, 패널 모집 단계의 무응답과 탈락까지 넣은 누적 응답률은 3%다.

이런 시대에 나는 서베이의 9할이 표집틀이라고 생각한다. 응답률이 낮아지면 조사 결과를 지키는 일은 무응답을 얼마나 알고 보정하느냐로 넘어간다. 그런데 응답하지 않은 사람이 어떤 사람인지 알려 주는 정보는 거의 다 표집틀에서 나온다. 이 글은 그 생각을 정리한 것이다.

1. 응답률은 더 이상 품질 지표가 못 된다

응답률이 높으면 좋은 조사라는 믿음은 오래갔다. 이 믿음을 흔든 것은 Groves(2006)와 Groves·Peytcheva(2008)의 연구다. 두 사람은 무응답 편향을 직접 추정한 방법론 연구 59건에서 추정치 959개를 모아 분석했다. 응답률과 편향 사이의 상관은 매우 약했다. 미국 국립연구회의(NRC) 보고서도 응답률이 떨어졌다는 사실이 알려 주는 것은 편향이 생길 가능성이 커졌다는 것까지라고 정리했다.

이유는 무응답 편향이 생기는 방식에 있다. 무응답 편향은 응답할 확률과 조사하려는 값이 함께 움직일 때 생긴다. Bethlehem이 정리한 식으로 쓰면 편향은 대략 응답 확률과 조사 변수의 공분산을 평균 응답 확률로 나눈 값이다. 응답률이 10%라도 응답 여부가 조사 값과 무관하면 편향은 작다. 응답률이 60%라도 응답 여부가 조사 값과 연관돼 있으면 편향은 크다.

가상의 숫자로 계산해 보면 이렇다. 어떤 정책의 실제 지지율이 50%라고 하자. 표 1의 가는 지지자와 비지지자의 응답 확률이 같아서 응답률이 10%여도 편향이 없다. 나는 응답률이 30%지만 지지자의 응답 확률이 비지지자의 1.5배여서 응답자 가운데 지지 비율이 60%로 나온다. 다는 응답률이 8%로 가장 낮은데 편향은 나와 같다. 두 집단의 응답 확률 비율이 나와 같기 때문이다.

표 1. 응답률과 무응답 편향의 관계(가상의 예)

경우

지지자 응답 확률

비지지자 응답 확률

전체 응답률

응답자 중 지지 비율

편향

가

10%

10%

10%

50%

0%p

나

36%

24%

30%

60%

+10%p

다

9.6%

6.4%

8%

60%

+10%p

가상의 숫자. 모집단 지지율 50%를 가정했다. 응답자 중 지지 비율 = 지지자 응답 수 ÷ 전체 응답 수.

실제 조사에서는 누가 지지자인지 미리 알 수 없다. 그래서 지지 여부와 관련된 다른 정보로 응답 확률의 차이를 추정해야 하고, 그 정보는 표집틀에서 가져온다.

응답률이 아무 의미가 없다는 이야기는 아니다. Brick과 Tourangeau가 Groves·Peytcheva의 자료를 조사 단위로 묶어 다시 분석했더니 응답률과 편향의 관계가 더 뚜렷하게 나타났다. 다만 응답률 숫자 하나로 조사의 품질을 판정할 수는 없게 됐다.

그러면 무엇을 봐야 하나. 응답하지 않은 사람이 응답한 사람과 어떻게 다른지를 봐야 한다. 응답하지 않은 사람은 설문에 답하지 않았으니, 그 사람을 알려 주는 것은 처음 뽑을 때 명단에 적혀 있던 정보뿐이다.

2. 표집틀이 하는 일

표집틀은 흔히 포괄 범위의 문제로 다룬다. 모집단 가운데 명단에서 빠진 사람이 얼마나 되느냐는 질문이다. 저응답 시대에 표집틀은 그보다 많은 일을 한다.

첫째, 표집틀은 분모를 준다. 명단에서 누구를 뽑아 몇 명에게 조사를 요청했는지 알아야 응답률과 접촉률을 계산할 수 있다. 명단 없이 현장에서 사람을 찾는 조사에는 분모가 없다.

둘째, 표집틀은 보조정보를 준다. 명단에 성, 연령, 지역, 업종 같은 정보가 붙어 있으면 응답자와 무응답자를 비교할 수 있다. 어느 집단이 덜 응답했는지 알면 무응답 가중을 줄 수 있고, 조사 도중 응답이 덜 들어오는 집단에 요청을 더 보낼 수도 있다. ESS 품질 보고서는 조사원이 기록한 주변 환경 정보로 응답자와 무응답자, 전체 표본을 나란히 비교한다.

셋째, 표집틀이 있으면 누구를 뽑을지 설계자가 정한다. 조사원이 두드릴 문을 고르거나 응답자가 스스로 찾아 들어오는 방식에서는 이 결정이 설계자 손을 떠난다.

넷째, 표집틀이 있으면 조사 방식을 바꿀 수 있다. 주소 명단이 있으면 편지로 웹 응답을 요청하고, 응답이 없으면 종이 설문을 보내고, 전화로 응답을 받을 수도 있다. 표집틀은 그대로 두고 접촉 방법만 바꾸는 것이다. 다음 절에서 볼 해외 조사들이 실제로 이렇게 했다.

3. 표집틀 정보로 응답을 관리한다

표집틀 정보는 조사가 끝난 뒤 가중치를 만들 때만 쓰는 것이 아니다. 표본을 뽑고 조사를 진행하는 단계에서도 쓴다.

퓨 리서치 센터의 2025년 NPORS는 우정청 배달 주소 파일에서 주소를 뽑으면서 인종·민족 구성과 학력을 기준으로 층을 나누고, 층마다 뽑히는 확률을 다르게 줬다. 퓨의 온라인 패널 ATP는 한 차수 조사에서 히스패닉 남성, 비히스패닉 흑인 남성, 비히스패닉 아시아계 성인은 모두 표본에 넣었다. 전통적으로 응답 경향이 낮은 집단의 참여를 높이려고 사례금도 집단마다 다르게 설계했다. 어느 집단이 덜 응답하는지 알고, 그 집단을 명단에서 찾아낼 수 있어야 가능한 일이다.

응답자 집단의 대표성을 재는 지표도 표집틀 정보에 기댄다. Schouten 등(2009)이 제안한 R-지표(대표성 지표)는 표집틀의 보조변수로 표본 전원의 응답 확률을 추정하고, 그 확률이 사람마다 얼마나 고르게 퍼져 있는지를 본다. 응답 확률이 고를수록 응답자 집단이 표본을 닮았다고 본다. 응답률이 같은 두 조사라도 R-지표는 다를 수 있다. 표집틀에 보조변수가 없으면 이 지표는 계산할 수 없다.

국내 실무에도 같은 원리가 있다. 내가 하는 문자 기반 휴대전화웹조사에서는 성·연령·지역 셀별로 이전 조사의 응답률을 보고 응답이 덜 들어오는 셀에 발송량을 더 배분한다. 다만 이 방식은 표집틀에 있는 변수 안에서만 균형을 맞춘다. 같은 셀 안에서 누가 먼저 응답하는지는 여전히 응답자가 정한다.

4. 해외 조사는 표집틀을 지키고 방식을 바꿨다

영국사회태도조사(BSA)는 1993년부터 우체국이 만든 주소 목록인 우편주소 파일(PAF)을 표집틀로 써 왔다. 2019년까지는 조사원이 집으로 찾아가는 대면조사였다. 대면조사를 하던 2015년에는 우편번호 구역 362곳을 주소 수에 비례하는 확률로 뽑고, 그 안에서 일정한 간격으로 주소를 뽑았다. 2020년부터는 PAF에서 뽑은 주소로 편지를 보내 온라인 응답을 받는다. 2025년 조사는 PAF에서 주소 2만 8,375개를 뽑았다.

유럽사회조사(ESS)는 2002년 1차부터 대면조사를 원칙으로 삼았다. 2022년 5월 ESS 총회는 웹 우선 자기기입 방식으로 바꾸는 계획을 승인했다. 2025/26년 12차 조사는 나라마다 표본의 절반은 대면으로, 절반은 웹과 종이로 조사한다. 2027/28년 13차부터는 웹과 종이 자기기입만 쓴다. 표본은 나라마다 개인 명부, 가구 명부, 주소 목록 가운데 쓸 수 있는 명단에서 뽑아 왔다.

미국 퓨 리서치 센터의 온라인 패널 ATP는 2018년부터 주소 기반 표집(ABS)으로 패널을 모집한다. 2025년 NPORS는 우정청 배달 주소 파일에서 1만 8,800가구를 뽑아 1달러 지폐 두 장과 함께 편지를 보냈다. 편지로 웹 응답을 요청하고, 응답하지 않은 가구에는 종이 설문을 보냈으며, 전화 응답도 받았다. 웹 2,349명, 종이 2,331명, 전화 342명을 합쳐 5,022명이 응답했다.

대면 할당표본을 그만둔 사례도 있다. 영국 정부의 에너지 정책 국민 태도 추적조사는 2012년부터 2020년 3월까지 민간 조사회사의 대면 옴니버스에서 무작위 지역 할당(random location quota) 방식으로 자료를 모았다. 지역은 무작위로 뽑고 그 안에서는 할당으로 사람을 채우는 방식이다. 이 조사는 코로나 시기를 거쳐 2021년 가을부터 주소 기반 온라인 조사(ABOS)로 바뀌었다.

그림 1. 해외 주요 조사의 자료 수집 방식 변화

자료: NatCen BSA 기술 보고서, ESS 자료 수집 방식 안내, 퓨 리서치 센터 방법론 문서, 영국 DESNZ 기술 보고서를 바탕으로 정리. 막대 길이는 대략의 기간이다.

네 조사 모두 자료 수집 방식은 바꿨지만 표집틀은 지켰거나 새로 확보했다. 대면조사를 줄인 이유는 비용과 응답률이었다. 대면을 버리면서도 명단은 버리지 않았다. 확률표본은 명단에서 시작한다는 판단이다. 표 2는 네 조사를 정리한 것이다.

표 2. 해외 조사의 표집틀과 방식 전환

조사

표집틀

바뀐 점

영국사회태도조사(BSA)

우편주소 파일(PAF), 1993년부터

2019년까지 대면조사, 2020년부터 PAF에서 뽑은 주소로 편지를 보내 온라인 응답

유럽사회조사(ESS)

나라별 개인 명부·가구 명부·주소 목록

11차까지 대면, 12차(2025/26)는 대면과 자기기입 절반씩, 13차(2027/28)부터 웹·종이만

퓨 리서치 ATP·NPORS

미국 우정청 배달 주소 파일

ATP는 2018년부터 주소 기반으로 패널 모집, NPORS는 편지로 초대해 웹·종이·전화로 응답(2025년 RR1 29%)

영국 에너지 정책 국민 태도 추적조사(DESNZ)

2020년까지 없음(무작위 지역 할당), 이후 주소 목록

대면 할당표본 옴니버스에서 2021년 가을 주소 기반 온라인 조사(ABOS)로

 

5. 한국에서 쓸 수 있는 표집틀

한국에서 일반인 대상 조사에 쓸 수 있는 표집틀을 정리하면 표 3과 같다. 각 표집틀이 무엇을 주고 무엇을 빠뜨리는지가 다르다.

표 3. 국내 조사에서 쓸 수 있는 표집틀

표집틀

단위

붙어 있는 정보

쓸 수 있는 조사

빠지는 사람

조사구

가구

가구 명부, 요도

국가승인통계(제한적)

명부 작성 뒤 이사·신축

집계구

지역(약 500명)

경계, 집계 통계

제한 없음

가구 명부가 없어 가구 단계 확률추출이 안 됨

휴대전화 가상번호

휴대전화 이용자

성, 연령대, 지역

선거여론조사, 전화조사

제공 거부를 신청한 사람

RDD(010 임의번호)

전화번호

없음

전화조사

휴대전화가 없는 사람

지방행정 인허가 데이터

사업소

업종, 주소, 영업 상태

제한 없음(공개 자료)

인허가·신고 대상이 아닌 업종

통신사 마케팅 수신 동의 고객

휴대전화 이용자

성, 연령, 지역

문자로 요청하는 휴대전화웹조사

다른 통신사 가입자, 수신 미동의자

직능·회원 명부

개인

명부마다 다름

명부 보유 기관이 협조할 때

명부 밖 종사자

온라인 패널

가입자

가입 때 입력한 정보

패널 조사

가입하지 않은 사람 전체(모집단 명단이 아님)

필자 정리. 쓸 수 있는 범위와 빠지는 사람은 법령·공개 자료와 필자의 실무 경험을 바탕으로 적었다.

조사구는 인구주택총조사를 바탕으로 만든 가구 명부와 요도를 갖춘, 한국에서 가장 정확한 가구 표집틀이다. 그러나 통계조사 목적으로 설정한 단위여서 대외 제공이 제한적이고, 국가승인통계 조사가 아니면 쓰기 어렵다. 그래서 승인통계가 아닌 전국 가구조사는 대개 집계구를 쓴다. 집계구에는 경계와 집계 통계만 있고 가구 명부가 없다. 집계구 기반 가구조사는 지역까지만 확률로 뽑고 가구는 현장에서 찾는다.

휴대전화 가상번호는 2017년부터 선거여론조사 기관도 이동통신사에서 받을 수 있게 됐다. 성, 연령대, 지역별로 나눠 받을 수 있어서 층화추출이 된다. 국내 표집틀 가운데 가장 잘 갖춰진 것 가운데 하나다. 다만 선거에 관한 여론조사에만, 전화조사에만 쓸 수 있다. 010 번호를 임의로 생성하는 RDD는 누구에게나 쓸 수 있지만 번호에 붙은 정보가 없어 무응답자가 어떤 사람인지 알 수 없다.

사업체 조사에서는 지방행정 인허가 데이터가 쓸 만한 표집틀이 됐다. 행정안전부는 올해 1월 일반음식점, 통신판매업, 미용업, 담배소매업 등 195종의 인허가 데이터를 공공데이터포털로 통합 개방했다. 업종, 주소, 영업 상태가 들어 있고, 폐업은 행정 조치와 실사로 확인하기 때문에 정합성이 높다는 평가도 있다. 최근 한 국책연구기관의 자영업 실태조사도 이 데이터와 통신판매업 등록 정보를 합쳐 추출틀로 썼다. 다만 인허가나 신고 대상이 아닌 업종은 이 데이터에 없다.

통신사 마케팅 수신 동의 고객은 문자로 휴대전화웹조사를 요청할 수 있는 표집틀이다. 성, 연령, 지역 정보가 붙어 있어 응답이 덜 들어오는 집단에 발송을 더 배분할 수 있고, 누구에게 몇 건을 보내 몇 명이 응답했는지가 남는다. 한계도 있다. 한 통신사 가입자 가운데 마케팅 수신에 동의한 사람만 들어 있다. 내가 일하는 회사가 쓰는 표집틀이라 한계를 먼저 적어 둔다.

직능·회원 명부는 특정 직업이나 자격을 가진 사람, 협회 회원을 조사할 때 쓴다. 모집단과 명단이 거의 겹치면 가장 좋은 표집틀이 된다. 온라인 패널은 표 3에 넣었지만 엄밀히 말하면 표집틀이 아니다. 패널은 스스로 가입한 사람의 목록이어서, 그 안에서 무작위로 뽑아도 출발점이 자발 가입이다.

6. 표집틀을 따져 보는 질문

표집틀의 문제를 정리한 고전은 Kish(1965)다. Kish는 표집틀과 모집단이 어긋나는 경우를 네 가지로 나눴다. 모집단에 있는데 명단에 없는 누락, 명단의 한 항목에 여러 대상이 묶여 있는 군집, 명단에 있지만 모집단에 속하지 않는 빈 항목과 이질 항목, 같은 대상이 명단에 여러 번 올라 있는 중복이다.

저응답 시대에는 여기에 질문 두 가지를 더 붙여야 한다. 하나는 명단에 무응답자와 비교할 정보가 붙어 있느냐다. 이 정보가 없으면 보정을 할 수 없다. 다른 하나는 명단으로 연락할 수단이 있느냐다. 주소든 전화번호든 문자든 연락 수단이 있어야 조사 방식을 고를 수 있다. 표 4는 여섯 질문을 국내 표집틀에 대어 본 것이다.

표 4. 표집틀을 따져 보는 여섯 질문

질문

뜻

국내 표집틀의 예

누락

모집단에 있는데 명단에 없다

인허가 대상이 아닌 업종, 통신사 마케팅 수신 미동의자

군집

명단의 한 항목에 여러 대상이 묶여 있다

주소 하나에 여러 가구가 사는 다가구주택

이질 항목

명단에 있지만 모집단에 속하지 않는다

폐업 처리가 늦은 업소, 업무용 휴대전화 번호

중복

같은 대상이 명단에 여러 번 올라 있다

휴대전화를 두 대 이상 쓰는 사람

보조정보

무응답자와 비교할 정보가 붙어 있는가

가상번호는 성·연령대·지역이 있고 RDD는 없다

접촉 수단

명단으로 연락할 방법이 있는가

집계구는 지도뿐이어서 가구를 현장에서 찾아야 한다

누락·군집·이질 항목·중복은 Kish(1965)의 분류. 보조정보와 접촉 수단은 필자가 덧붙였다.

여섯 질문에 모두 깔끔하게 답하는 표집틀은 없다. 표 3에서 본 국내 표집틀도 저마다 약한 곳이 있다. 그래도 이 질문에 답한 내용을 보고서에 그대로 옮기면 그 조사의 표집틀 한계를 설명하는 글이 된다.

7. 표집틀이 9할이라면 나머지 1할은

표집틀이 좋아도 응답 여부가 조사 값과 연관돼 있고, 그 연관이 표집틀 정보로 설명되지 않으면 보정이 따라가지 못한다. 2016년 미국 대선 여론조사가 그랬다. AAPOR 평가 보고서에 따르면 전국 조사는 대체로 정확했지만 주 단위 조사의 오차가 컸다. 학력이 높을수록 조사에 더 잘 응답한다는 사실은 이미 알려져 있었는데, 많은 주 단위 조사가 학력으로 가중하지 않았다. 그해에는 학력과 투표 선택의 관계가 유난히 강했다.

한국에서도 조사 방식에 따라 응답하는 사람이 달라진다. 올해 지방선거를 앞두고 한 조사기관이 같은 기간에 ARS와 전화면접으로 정당 지지도를 조사했다. 응답률은 ARS 3.0%, 전화면접 11.8%였다. 민주당 지지는 두 방식 모두 50%대 후반이었지만, 국민의힘 지지는 ARS에서 27.5%, 전화면접에서 21.6%였다. 표집틀을 갖춰도 어떤 방식으로 접촉하느냐에 따라 응답자 구성이 달라지고, 그 차이가 표집틀 정보로 설명되지 않으면 보정이 따라가지 못한다.

보정의 비중은 앞으로 더 커진다. 모리스(G. Elliott Morris)는 올해 9월 글에서 1,000명에게 무작위로 전화하고 표본을 조금 손보던 옛 여론조사 방식은 끝났고, 이제 모든 여론조사가 모형이라고 썼다. 모형에는 응답자가 모집단과 어떻게 다른지 알려 주는 변수가 필요하다. 그 변수를 응답자에게만 물으면 무응답자와 비교할 수 없다. 표집틀에 있어야 응답자와 무응답자를 함께 볼 수 있다.

정확히 말하면 표집틀은 필요조건이다. 표집틀이 없으면 무응답을 알 수도, 보정할 수도 없다. 표집틀이 있어도 보정에 쓸 변수를 잘못 고르면 결과가 틀린다. 내가 9할이라고 말하는 것은 표집틀 없이는 나머지 1할에 손댈 수조차 없다는 뜻이다.

8. 표집틀의 시대에 할 일

저응답 시대에 조사의 품질을 지키려면 다음 네 가지를 바꿔야 한다고 본다.

1.       보고서에 표집틀을 적는다. 표집틀의 이름과 함께 표 4의 여섯 질문의 답, 표집틀 정보로 무응답을 어떻게 보정했는지를 쓴다. 모든 표집틀에는 한계가 있다. 차이는 그 한계를 보고서에 적을 수 있느냐다.

2.       제안요청서가 조사 방식보다 표집틀을 먼저 묻는다. 대면이냐 전화냐 웹이냐를 먼저 정해 두고 표집틀은 수행 회사에 맡기는 순서를 바꾼다. 표집틀이 정해지면 그 명단에 연락할 수 있는 방식은 저절로 좁혀진다.

3.       공공 명부를 연다. 조사구 자료를 학술·공공 목적 조사에서도 쓸 수 있는 길을 넓히고, 인허가 데이터처럼 개방된 행정자료가 표집틀로 쓰일 수 있게 정보 항목을 갖춘다.

4.       성·연령·지역 밖의 보정 변수를 표집틀에서 찾는다. 표집틀에 붙은 정보가 많을수록 성, 연령, 지역 세 변수에만 기대는 가중에서 벗어날 수 있다.

맺으며

응답률이 다시 오를 일은 없을 것이다. 조사 방식은 앞으로도 바뀐다. 대면에서 전화로, 전화에서 웹으로 옮겨 왔고 AI 면접원도 나왔다. 방식이 바뀌어도 명단은 남는다. 해외의 큰 조사들이 대면조사를 그만두면서도 주소 명단은 계속 쓴 이유다.

조사 설계의 첫 질문을 "어떤 방식으로 물을까"에서 "누구의 명단에서 뽑을까"로 바꿀 때다. 표집틀의 시대다.

참고자료

Kish, L. (1965). Survey Sampling. New York: Wiley.

Groves, R. M. (2006). Nonresponse rates and nonresponse bias in household surveys. Public Opinion Quarterly, 70(5), 646-675.

Groves, R. M., & Peytcheva, E. (2008). The impact of nonresponse rates on nonresponse bias: A meta-analysis. Public Opinion Quarterly, 72(2), 167-189. https://doi.org/10.1093/poq/nfn011

National Research Council (2013). Nonresponse in Social Science Surveys: A Research Agenda. National Academies Press. https://www.nationalacademies.org/read/18293/chapter/4

Bethlehem, J. (2002). Weighting nonresponse adjustments based on auxiliary information. In Survey Nonresponse (pp. 275-287). Wiley.

Wagner, J. (2017.11). Response rates and responsive design(Brick·Tourangeau 재분석 소개). https://jameswagnersurv.blogspot.com/2017/11/response-rates-and-responsive-design.html

Schouten, B., Cobben, F., & Bethlehem, J. (2009). Indicators for the representativeness of survey response. Survey Methodology, 35(1), 101-113.

Morris, G. E. (2026.9.15). All polls are models now. Strength In Numbers. https://www.gelliottmorris.com/p/2026-09-15-all-polls-are-models-now

Pew Research Center (2025.2.20). Americans continue to view several economic issues as top national problems: Methodology. https://www.pewresearch.org/politics/2025/02/20/top-national-problems-methodology/

AAPOR Ad Hoc Committee on 2016 Election Polling (2017). An Evaluation of 2016 Election Polls in the United States. https://aapor.org/wp-content/uploads/2023/01/AAPOR-2016-Election-Polling-Report.pdf

Pew Research Center (2025). 2025 National Public Opinion Reference Survey Methodology. https://www.pewresearch.org/wp-content/uploads/sites/20/2025/07/2025-NPORS-Methodology-Statement.pdf

Pew Research Center (2026.1.22). Social media use 2025: Methodology. https://www.pewresearch.org/internet/2026/01/22/social-media-use-2025-methodology

Pew Research Center (2025.3). ATP Wave 165 Methodology. https://pewresearch.org/wp-content/uploads/sites/20/2025/03/SR_25.03.26_pbs-npr_methodology.pdf

NatCen Social Research. British Social Attitudes 33 technical details. https://natcen.ac.uk/sites/default/files/2023-08/bsa33_technicaldetails.pdf

NatCen Social Research (2025). British Social Attitudes 42 technical details. https://natcen.ac.uk/sites/default/files/2025-06/BSA%2042%20Technical%20Details.pdf

NatCen Social Research (2026). British Social Attitudes 43 technical details. https://natcen.ac.uk/sites/default/files/2026-06/Technical%20Details%20BSA43_Clean.pdf

European Social Survey. Modes of data collection. https://europeansocialsurvey.org/node/75

European Social Survey. Round 12 Survey Specification published. https://europeansocialsurvey.org/node/412

ESS ERIC Core Scientific Team (2022). Quality Report for the European Social Survey, Round 9. https://www.europeansocialsurvey.org/sites/default/files/2023-06/ESS9_Quality_Report.pdf

Department for Energy Security and Net Zero. DESNZ Public Attitudes Tracker: technical report, Winter 2023 to Summer 2024. GOV.UK.

쿠키뉴스(2023.10.22). 정치·선거 전화여론조사 기준 마련…ARS 없애고 응답률 10% 이상만 허용. https://www.kukinews.com/newsView/kuk202310220048

경기일보(2026.5.14). 평택시 여론조사 보도. https://kyeonggi.com/article/20260514580562

경기일보(2026.5). 인천 제물포구청장 여론조사 보도. https://kyeonggi.com/election2026/200

노컷뉴스(2026.5.10). ARS서 두드러진 국힘 상승세…샤이 보수인가, 과대표집인가. https://www.nocutnews.co.kr/news/6514578

선거여론조사심의위원회의 구성 및 운영에 관한 규칙(2017.2.24 개정). 공직선거법 제108조의2 휴대전화 가상번호 제공 사무.

뉴시스(2026.5.16). 선거철 여론조사 전화는 어떻게 걸려올까. https://mobile.newsis.com/view/NISX20260515_0003630850

한국생산성본부(2008). 「통계지리정보 유료화 서비스 방안 연구」. 통계청. https://lib1.kostat.go.kr/dl_image2/IMG/01/000000000979/SERVICE/000000000979_01.PDF

경향신문(2026.1.25). 행안부, 지방행정 인허가 데이터 개방. https://www.khan.co.kr/article/202601251400011/

한국노동연구원(2025.4). 지방행정인허가데이터를 통해 살펴본 폐업 사업소 현황. 『노동리뷰』 241호.

가상 응답자에게 설문지 사전검사를 맡기면

  가상 응답자에게 설문지 사전검사를 맡기면 Sturgis, Roberts, Robinson(2026) 「 LLMs for Survey Pretesting 」 읽기 가상 응답자의 다른 쓰임새 얼마 전 유럽사회조사 (ESS) 가 방법론...