횡단조사, 종단조사, 패널조사 한 번에 정리하기

 

횡단조사, 종단조사, 패널조사 한 번에 정리하기

글 오승호

조사 설계 이야기를 하다 보면 횡단조사, 종단조사, 추세조사, 코호트조사, 패널조사, 고정패널, 순환패널 같은 말이 한꺼번에 나옵니다. 이 용어들은 같은 층위에 나란히 있는 말이 아니고 위아래로 포함 관계가 있습니다. 그 관계만 알고 있으면 헷갈릴 일이 크게 줄어듭니다. 아래 그림 1에 전체 분류를 먼저 그려 두었습니다.

그림 1. 조사 설계 용어의 포함 관계

1. 먼저 몇 번 조사하느냐로 나눈다

가장 위에서는 조사를 한 번만 하는지, 시간 간격을 두고 여러 번 하는지로 나눕니다. 한 번이면 횡단조사, 여러 번이면 종단조사입니다.

횡단조사는 어느 한 시기에 표본을 뽑아 한 번 묻고 끝나는 조사입니다. 언론사가 한 번 의뢰해 발표하는 선거 여론조사, 어떤 정책에 대해 한 차례 실시하는 인식조사가 여기에 해당합니다. 그 시기의 분포는 알 수 있지만, 시간이 지나 무엇이 달라졌는지는 이 조사 하나로 알 수 없습니다.

종단조사는 같은 주제를 시간 간격을 두고 여러 번 조사하는 설계입니다. 목적이 변화를 보는 데 있습니다.

2. 종단조사는 누구에게 다시 묻느냐로 나눈다

여러 번 조사할 때 매번 누구에게 묻느냐에 따라 추세조사, 코호트조사, 패널조사로 나눕니다. 사회조사방법론 교과서(Babbie)의 분류입니다. 그림 2는 세 유형에서 차수마다 누구를 조사하는지 칸으로 나타낸 것입니다.

그림 2. 종단조사의 세 유형

표 1. 종단조사 유형 비교

유형	매번 누구에게 묻나	알 수 있는 것	예
추세조사	같은 모집단에서 매번 새로 뽑은 사람	모집단 전체의 변화	매주 발표되는 정당 지지율 조사
코호트조사	같은 해 출생자처럼 같은 시기를 겪은 집단	그 집단이 나이 들며 달라지는 모습	1990년생을 10년마다 조사
패널조사	처음 뽑은 바로 그 사람	개인이 어떻게 바뀌었는지	한국노동패널조사, 한국복지패널조사

 

추세조사는 모집단은 그대로 두고 표본은 매번 새로 뽑습니다. 매주 나오는 정당 지지율 조사가 대표적입니다. 이번 주 응답자와 지난주 응답자는 다른 사람이지만 둘 다 전국 유권자를 대표하므로, 두 결과를 비교하면 유권자 전체가 어느 쪽으로 움직였는지 알 수 있습니다. 반복횡단조사라고도 부릅니다.

코호트조사는 같은 해에 태어났거나 같은 해에 입학한 사람처럼 같은 시기를 함께 겪은 집단을 정해 두고, 그 집단을 여러 번 조사합니다. 그림 2처럼 1990년생을 2025년, 2035년, 2045년에 조사하면 30대, 40대, 50대가 된 1990년생을 차례로 보게 됩니다. 매번 그 집단 안에서 표본을 새로 뽑을 수도 있고 같은 사람을 계속 따라갈 수도 있습니다. 같은 사람을 따라가면 코호트조사이면서 패널조사가 됩니다. 2008년 출생아를 계속 추적하는 한국아동패널이 그런 경우입니다.

패널조사는 처음 뽑은 사람을 다시 찾아가 같은 질문을 반복합니다. 한국노동연구원의 한국노동패널조사(1998년 시작), 한국보건사회연구원과 서울대 사회복지연구소의 한국복지패널조사(2006년 시작)가 대표적입니다.

모든 문헌이 이렇게 나누지는 않습니다. Lynn이 엮은 『Methodology of Longitudinal Surveys』(2009)처럼 같은 단위를 반복 측정하는 설계만 종단조사로 보고, 추세조사는 반복횡단조사로 따로 떼어 내는 경우도 있습니다. 이 기준을 따르면 종단조사와 패널조사가 거의 같은 말이 됩니다. 글이나 보고서에서 어느 정의를 따르는지 밝혀 두면 오해가 없습니다.

3. 같은 사람에게 다시 물어야 보이는 것

패널조사는 비용과 품이 더 듭니다. 그래도 쓰는 이유는 개인 단위의 변화를 볼 수 있기 때문입니다. 1,000명에게 A정당 지지 여부를 두 번 물었다고 해 보겠습니다. 1차와 2차 모두 지지율이 40%입니다. 매번 새 표본을 쓰는 추세조사라면 여기서 할 수 있는 말은 변화가 없다는 것뿐입니다.

같은 1,000명에게 두 번 물은 패널조사라면 표 2처럼 나눠 볼 수 있습니다.

표 2. 같은 1,000명에게 두 번 물은 결과 (가상 수치, 단위: 명)

구분	2차 A정당 지지	2차 A정당 지지 안 함	합계
1차 A정당 지지	300	100	400
1차 A정당 지지 안 함	100	500	600
합계	400	600	1,000

 

1차 지지자 400명 가운데 100명이 떠났고, 1차 비지지자 가운데 100명이 새로 지지로 돌아섰습니다. 지지율은 그대로인데 응답이 바뀐 사람은 200명, 전체의 20%입니다. 방법론에서는 전체 비율의 차이를 순변화(net change), 응답을 바꾼 사람의 규모를 총변화(gross change)라고 부릅니다. 추세조사로는 순변화만 알 수 있고, 패널조사로는 둘 다 알 수 있습니다. 떠난 사람과 들어온 사람이 각각 어떤 연령, 어떤 직업인지도 분석할 수 있습니다.

대신 패널조사에는 따로 관리해야 할 문제가 있습니다. 차수가 거듭될수록 연락이 끊기거나 응답을 거절하는 사람이 늘어나는데, 이를 패널 이탈(attrition)이라고 합니다. 빠져나가는 사람이 무작위가 아니면 남은 패널이 한쪽으로 치우칩니다. 같은 질문을 여러 번 받은 응답자가 질문에 익숙해지거나 조사 주제에 관심이 생겨 실제 생각이나 행동이 달라지기도 합니다. 이를 패널 조건화(panel conditioning)라고 부릅니다.

4. 패널조사는 다시 네 가지로 나뉜다

국내 교재에서는 패널조사를 고정패널과 순환패널 둘로 소개하는 경우가 많습니다. 조사 설계 문헌(Duncan & Kalton 1987; Kalton & Citro 1993)은 여기에 반복패널과 분할패널을 더해 네 가지로 정리합니다. 네 유형의 차이는 표본을 언제 새로 넣고 언제 빼느냐에 있습니다.

그림 3. 패널조사 설계의 네 유형

고정패널

처음 뽑은 표본을 끝까지 따라가는 설계입니다. 앞에서 말한 한국노동패널조사와 한국복지패널조사가 이 방식입니다. 한 사람의 삶이 10년, 20년에 걸쳐 어떻게 달라지는지 볼 수 있다는 점이 가장 큰 장점입니다.

약점은 시간이 갈수록 이탈이 쌓인다는 것, 그리고 조사를 시작한 뒤 원래 표본과 관계없이 모집단에 들어온 사람이 표본에 없다는 것입니다. 해외에서 이주해 온 사람이 그런 예입니다. 그래서 오래 운영하는 고정패널은 중간에 신규 표본을 보충하곤 합니다. 한국노동패널조사도 2009년에 신규 표본 가구를 추가했습니다.

순환패널

응답자가 정해진 횟수만 참여하고 빠지며, 빠진 만큼 새 순환군이 들어오는 설계입니다. 그림 3에서는 세 번 참여하고 빠지도록 그렸습니다. 그래서 매 차수 조사에는 처음 참여하는 사람, 두 번째인 사람, 세 번째인 사람이 섞여 있습니다. 미국 노동통계의 기반이 되는 CPS(Current Population Survey)가 대표적입니다. 한 가구를 4개월 연속 조사하고 8개월 쉬었다가 다시 4개월 조사한 뒤 표본에서 뺍니다.

한 사람이 참여하는 기간이 짧아서 응답 부담과 이탈, 패널 조건화가 줄고, 매 차수 새 사람이 들어오니 그 시점의 모집단을 대표하기도 쉽습니다. 인접한 두 차수에 같은 사람이 상당수 겹치므로 이번 달과 지난달의 차이를 더 정밀하게 추정할 수 있습니다. 월별, 분기별 지표를 내야 하는 정부 통계가 이 설계를 많이 쓰는 이유입니다. 대신 순환 기간보다 긴 개인의 변화는 볼 수 없고, 몇 번째 참여인지에 따라 응답 분포가 달라지는 순환군 편향(rotation group bias)도 점검해야 합니다.

반복패널

기간이 정해진 패널을 주기적으로 새로 시작하는 설계입니다. 그림 3처럼 3년짜리 패널을 2년마다 새로 띄우면 앞 패널과 뒤 패널이 1년씩 겹칩니다. 과거 미국의 SIPP(Survey of Income and Program Participation)가 매년 새 패널을 시작해 앞 패널과 기간이 겹치도록 운영했습니다. 각 패널 안에서는 고정패널처럼 개인의 변화를 보고, 패널을 새로 시작할 때마다 이탈로 틀어진 표본 구성을 다시 맞출 수 있습니다.

분할패널

고정패널이나 순환패널에 매 차수 새로 뽑은 횡단 표본을 붙이는 설계입니다. 같은 차수 안에 패널 응답자와 처음 응답하는 사람이 함께 있으므로, 두 집단의 결과를 비교하면 이탈이나 패널 조건화가 결과를 얼마나 바꾸는지 점검할 수 있습니다. 그 차수의 횡단 추정치는 두 표본을 합쳐서 냅니다.

5. 실제 설계는 교과서처럼 깔끔하지 않다

현장에서는 네 유형이 섞인 설계가 흔합니다. 3년 동안 매년 2,000명을 조사하면서, 2차년도에는 1차 응답자 중 550명을 다시 조사하고 나머지는 새로 뽑고, 3차년도에는 두 번 응답한 사람을 우선해 다시 조사하는 경우를 생각해 보겠습니다.

표 3. 부분 재조사 설계의 연도별 구성 (단위: 명)

구성	1차년도	2차년도	3차년도
1·2차 모두 응답한 사람			약 400
이전에 1회 응답한 사람		550	약 200
신규	2,000	1,450	약 1,400
합계	2,000	2,000	2,000

 

매년 조사 안에 재조사 부분과 신규 부분이 함께 들어 있으니 네 유형 중에서는 분할패널에 가장 가깝습니다. 다만 몇 번 참여하면 빠지는지를 미리 정하지 않고 다시 응답해 준 사람을 중심으로 재조사하므로 교과서의 분할패널과 똑같지는 않습니다. 문헌에서는 이런 구조를 부분 중복 표본(partially overlapping samples)을 쓰는 반복횡단조사라고 부르기도 합니다. 보고서에는 유형 이름만 적기보다 표 3처럼 연도별 구성을 적어 두는 편이 정확합니다.

이런 설계에서는 재조사 대상이 다시 응답해 준 사람이어서 응답 의향이 높은 쪽으로 치우친다는 점을 염두에 둬야 합니다. 연도별 결과는 2,000명 전체에 횡단 가중치를 주어 내고, 개인 변화 분석은 재조사 응답자에게 따로 종단 가중치를 만들어 씁니다. 두 해의 표본이 일부 겹치므로 연도 간 차이를 독립표본으로 검정하면 유의성이 실제보다 덜 나온다는 점도 기억해 둘 만합니다.

6. 온라인 패널과 패널조사는 다른 말이다

조사회사에서 말하는 온라인 패널은 조사에 응하겠다고 미리 가입한 응답자 풀(액세스 패널)을 가리킵니다. 이 풀에서 한 번 뽑아 한 번 묻고 끝나면 그 조사는 횡단조사입니다. 패널 회원에게 조사했다고 해서 패널조사가 되지는 않습니다. 같은 응답자를 차수마다 다시 조사하도록 설계했을 때 비로소 패널조사라고 부를 수 있습니다.

참고문헌

Babbie, E. The Practice of Social Research. Cengage Learning.

Duncan, G. J., & Kalton, G. (1987). Issues of design and analysis of surveys across time. International Statistical Review, 55(1), 97–117.

Kalton, G., & Citro, C. F. (1993). Panel surveys: Adding the fourth dimension. Survey Methodology, 19(2), 205–215.

Lynn, P. (Ed.). (2009). Methodology of Longitudinal Surveys. Wiley.