횡단조사, 종단조사, 패널조사 한 번에 정리하기

 

횡단조사, 종단조사, 패널조사 한 번에 정리하기

글 오승호

조사 설계 이야기를 하다 보면 횡단조사, 종단조사, 추세조사, 코호트조사, 패널조사, 고정패널, 순환패널 같은 말이 한꺼번에 나옵니다. 이 용어들은 같은 층위에 나란히 있는 말이 아니고 위아래로 포함 관계가 있습니다. 그 관계만 알고 있으면 헷갈릴 일이 크게 줄어듭니다. 아래 그림 1에 전체 분류를 먼저 그려 두었습니다.

그림 1. 조사 설계 용어의 포함 관계

1. 먼저 몇 번 조사하느냐로 나눈다

가장 위에서는 조사를 한 번만 하는지, 시간 간격을 두고 여러 번 하는지로 나눕니다. 한 번이면 횡단조사, 여러 번이면 종단조사입니다.

횡단조사는 어느 한 시기에 표본을 뽑아 한 번 묻고 끝나는 조사입니다. 언론사가 한 번 의뢰해 발표하는 선거 여론조사, 어떤 정책에 대해 한 차례 실시하는 인식조사가 여기에 해당합니다. 그 시기의 분포는 알 수 있지만, 시간이 지나 무엇이 달라졌는지는 이 조사 하나로 알 수 없습니다.

종단조사는 같은 주제를 시간 간격을 두고 여러 번 조사하는 설계입니다. 목적이 변화를 보는 데 있습니다.

2. 종단조사는 누구에게 다시 묻느냐로 나눈다

여러 번 조사할 때 매번 누구에게 묻느냐에 따라 추세조사, 코호트조사, 패널조사로 나눕니다. 사회조사방법론 교과서(Babbie)의 분류입니다. 그림 2는 세 유형에서 차수마다 누구를 조사하는지 칸으로 나타낸 것입니다.

그림 2. 종단조사의 세 유형

표 1. 종단조사 유형 비교

유형	매번 누구에게 묻나	알 수 있는 것	예
추세조사	같은 모집단에서 매번 새로 뽑은 사람	모집단 전체의 변화	매주 발표되는 정당 지지율 조사
코호트조사	같은 해 출생자처럼 같은 시기를 겪은 집단	그 집단이 나이 들며 달라지는 모습	1990년생을 10년마다 조사
패널조사	처음 뽑은 바로 그 사람	개인이 어떻게 바뀌었는지	한국노동패널조사, 한국복지패널조사

 

추세조사는 모집단은 그대로 두고 표본은 매번 새로 뽑습니다. 매주 나오는 정당 지지율 조사가 대표적입니다. 이번 주 응답자와 지난주 응답자는 다른 사람이지만 둘 다 전국 유권자를 대표하므로, 두 결과를 비교하면 유권자 전체가 어느 쪽으로 움직였는지 알 수 있습니다. 반복횡단조사라고도 부릅니다.

코호트조사는 같은 해에 태어났거나 같은 해에 입학한 사람처럼 같은 시기를 함께 겪은 집단을 정해 두고, 그 집단을 여러 번 조사합니다. 그림 2처럼 1990년생을 2025년, 2035년, 2045년에 조사하면 30대, 40대, 50대가 된 1990년생을 차례로 보게 됩니다. 매번 그 집단 안에서 표본을 새로 뽑을 수도 있고 같은 사람을 계속 따라갈 수도 있습니다. 같은 사람을 따라가면 코호트조사이면서 패널조사가 됩니다. 2008년 출생아를 계속 추적하는 한국아동패널이 그런 경우입니다.

패널조사는 처음 뽑은 사람을 다시 찾아가 같은 질문을 반복합니다. 한국노동연구원의 한국노동패널조사(1998년 시작), 한국보건사회연구원과 서울대 사회복지연구소의 한국복지패널조사(2006년 시작)가 대표적입니다.

모든 문헌이 이렇게 나누지는 않습니다. Lynn이 엮은 『Methodology of Longitudinal Surveys』(2009)처럼 같은 단위를 반복 측정하는 설계만 종단조사로 보고, 추세조사는 반복횡단조사로 따로 떼어 내는 경우도 있습니다. 이 기준을 따르면 종단조사와 패널조사가 거의 같은 말이 됩니다. 글이나 보고서에서 어느 정의를 따르는지 밝혀 두면 오해가 없습니다.

3. 같은 사람에게 다시 물어야 보이는 것

패널조사는 비용과 품이 더 듭니다. 그래도 쓰는 이유는 개인 단위의 변화를 볼 수 있기 때문입니다. 1,000명에게 A정당 지지 여부를 두 번 물었다고 해 보겠습니다. 1차와 2차 모두 지지율이 40%입니다. 매번 새 표본을 쓰는 추세조사라면 여기서 할 수 있는 말은 변화가 없다는 것뿐입니다.

같은 1,000명에게 두 번 물은 패널조사라면 표 2처럼 나눠 볼 수 있습니다.

표 2. 같은 1,000명에게 두 번 물은 결과 (가상 수치, 단위: 명)

구분	2차 A정당 지지	2차 A정당 지지 안 함	합계
1차 A정당 지지	300	100	400
1차 A정당 지지 안 함	100	500	600
합계	400	600	1,000

 

1차 지지자 400명 가운데 100명이 떠났고, 1차 비지지자 가운데 100명이 새로 지지로 돌아섰습니다. 지지율은 그대로인데 응답이 바뀐 사람은 200명, 전체의 20%입니다. 방법론에서는 전체 비율의 차이를 순변화(net change), 응답을 바꾼 사람의 규모를 총변화(gross change)라고 부릅니다. 추세조사로는 순변화만 알 수 있고, 패널조사로는 둘 다 알 수 있습니다. 떠난 사람과 들어온 사람이 각각 어떤 연령, 어떤 직업인지도 분석할 수 있습니다.

대신 패널조사에는 따로 관리해야 할 문제가 있습니다. 차수가 거듭될수록 연락이 끊기거나 응답을 거절하는 사람이 늘어나는데, 이를 패널 이탈(attrition)이라고 합니다. 빠져나가는 사람이 무작위가 아니면 남은 패널이 한쪽으로 치우칩니다. 같은 질문을 여러 번 받은 응답자가 질문에 익숙해지거나 조사 주제에 관심이 생겨 실제 생각이나 행동이 달라지기도 합니다. 이를 패널 조건화(panel conditioning)라고 부릅니다.

4. 패널조사는 다시 네 가지로 나뉜다

국내 교재에서는 패널조사를 고정패널과 순환패널 둘로 소개하는 경우가 많습니다. 조사 설계 문헌(Duncan & Kalton 1987; Kalton & Citro 1993)은 여기에 반복패널과 분할패널을 더해 네 가지로 정리합니다. 네 유형의 차이는 표본을 언제 새로 넣고 언제 빼느냐에 있습니다.

그림 3. 패널조사 설계의 네 유형

고정패널

처음 뽑은 표본을 끝까지 따라가는 설계입니다. 앞에서 말한 한국노동패널조사와 한국복지패널조사가 이 방식입니다. 한 사람의 삶이 10년, 20년에 걸쳐 어떻게 달라지는지 볼 수 있다는 점이 가장 큰 장점입니다.

약점은 시간이 갈수록 이탈이 쌓인다는 것, 그리고 조사를 시작한 뒤 원래 표본과 관계없이 모집단에 들어온 사람이 표본에 없다는 것입니다. 해외에서 이주해 온 사람이 그런 예입니다. 그래서 오래 운영하는 고정패널은 중간에 신규 표본을 보충하곤 합니다. 한국노동패널조사도 2009년에 신규 표본 가구를 추가했습니다.

순환패널

응답자가 정해진 횟수만 참여하고 빠지며, 빠진 만큼 새 순환군이 들어오는 설계입니다. 그림 3에서는 세 번 참여하고 빠지도록 그렸습니다. 그래서 매 차수 조사에는 처음 참여하는 사람, 두 번째인 사람, 세 번째인 사람이 섞여 있습니다. 미국 노동통계의 기반이 되는 CPS(Current Population Survey)가 대표적입니다. 한 가구를 4개월 연속 조사하고 8개월 쉬었다가 다시 4개월 조사한 뒤 표본에서 뺍니다.

한 사람이 참여하는 기간이 짧아서 응답 부담과 이탈, 패널 조건화가 줄고, 매 차수 새 사람이 들어오니 그 시점의 모집단을 대표하기도 쉽습니다. 인접한 두 차수에 같은 사람이 상당수 겹치므로 이번 달과 지난달의 차이를 더 정밀하게 추정할 수 있습니다. 월별, 분기별 지표를 내야 하는 정부 통계가 이 설계를 많이 쓰는 이유입니다. 대신 순환 기간보다 긴 개인의 변화는 볼 수 없고, 몇 번째 참여인지에 따라 응답 분포가 달라지는 순환군 편향(rotation group bias)도 점검해야 합니다.

반복패널

기간이 정해진 패널을 주기적으로 새로 시작하는 설계입니다. 그림 3처럼 3년짜리 패널을 2년마다 새로 띄우면 앞 패널과 뒤 패널이 1년씩 겹칩니다. 과거 미국의 SIPP(Survey of Income and Program Participation)가 매년 새 패널을 시작해 앞 패널과 기간이 겹치도록 운영했습니다. 각 패널 안에서는 고정패널처럼 개인의 변화를 보고, 패널을 새로 시작할 때마다 이탈로 틀어진 표본 구성을 다시 맞출 수 있습니다.

분할패널

고정패널이나 순환패널에 매 차수 새로 뽑은 횡단 표본을 붙이는 설계입니다. 같은 차수 안에 패널 응답자와 처음 응답하는 사람이 함께 있으므로, 두 집단의 결과를 비교하면 이탈이나 패널 조건화가 결과를 얼마나 바꾸는지 점검할 수 있습니다. 그 차수의 횡단 추정치는 두 표본을 합쳐서 냅니다.

5. 실제 설계는 교과서처럼 깔끔하지 않다

현장에서는 네 유형이 섞인 설계가 흔합니다. 3년 동안 매년 2,000명을 조사하면서, 2차년도에는 1차 응답자 중 550명을 다시 조사하고 나머지는 새로 뽑고, 3차년도에는 두 번 응답한 사람을 우선해 다시 조사하는 경우를 생각해 보겠습니다.

표 3. 부분 재조사 설계의 연도별 구성 (단위: 명)

구성	1차년도	2차년도	3차년도
1·2차 모두 응답한 사람			약 400
이전에 1회 응답한 사람		550	약 200
신규	2,000	1,450	약 1,400
합계	2,000	2,000	2,000

 

매년 조사 안에 재조사 부분과 신규 부분이 함께 들어 있으니 네 유형 중에서는 분할패널에 가장 가깝습니다. 다만 몇 번 참여하면 빠지는지를 미리 정하지 않고 다시 응답해 준 사람을 중심으로 재조사하므로 교과서의 분할패널과 똑같지는 않습니다. 문헌에서는 이런 구조를 부분 중복 표본(partially overlapping samples)을 쓰는 반복횡단조사라고 부르기도 합니다. 보고서에는 유형 이름만 적기보다 표 3처럼 연도별 구성을 적어 두는 편이 정확합니다.

이런 설계에서는 재조사 대상이 다시 응답해 준 사람이어서 응답 의향이 높은 쪽으로 치우친다는 점을 염두에 둬야 합니다. 연도별 결과는 2,000명 전체에 횡단 가중치를 주어 내고, 개인 변화 분석은 재조사 응답자에게 따로 종단 가중치를 만들어 씁니다. 두 해의 표본이 일부 겹치므로 연도 간 차이를 독립표본으로 검정하면 유의성이 실제보다 덜 나온다는 점도 기억해 둘 만합니다.

6. 온라인 패널과 패널조사는 다른 말이다

조사회사에서 말하는 온라인 패널은 조사에 응하겠다고 미리 가입한 응답자 풀(액세스 패널)을 가리킵니다. 이 풀에서 한 번 뽑아 한 번 묻고 끝나면 그 조사는 횡단조사입니다. 패널 회원에게 조사했다고 해서 패널조사가 되지는 않습니다. 같은 응답자를 차수마다 다시 조사하도록 설계했을 때 비로소 패널조사라고 부를 수 있습니다.

참고문헌

Babbie, E. The Practice of Social Research. Cengage Learning.

Duncan, G. J., & Kalton, G. (1987). Issues of design and analysis of surveys across time. International Statistical Review, 55(1), 97–117.

Kalton, G., & Citro, C. F. (1993). Panel surveys: Adding the fourth dimension. Survey Methodology, 19(2), 205–215.

Lynn, P. (Ed.). (2009). Methodology of Longitudinal Surveys. Wiley.

여론조사에도 미분과 적분이 숨어 있다

여론조사에도 미분과 적분이 숨어 있다

문과 출신 조사 실무자가 20년 만에 고등학교 수학을 다시 꺼내 보는 이유

나는 1997학번이다. 문과였지만 그때 교육과정에서는 문과도 수학II에서 미분과 적분을 배웠다. 다항함수를 미분하고 적분해서 넓이를 구하는 문제를 꽤 풀었던 기억이 있다. 그리고 졸업 후 20년 가까이 여론조사 일을 하면서 미분 계산을 손으로 한 적은 단 한 번도 없다.

얼마 전 문득 궁금해졌다. 그럼 그건 왜 배운 걸까. 답을 찾다 보니 결론이 좀 의외였다. 나는 미적분을 안 쓰는 게 아니라, 매일 쓰고 있었다. 다만 SPSS와 엑셀이 대신 계산해 주니까 눈에 안 보였을 뿐이다. 이 글은 그 숨은 자리를 찾아가는 기록이다. 수식은 거의 쓰지 않고 그림으로 설명해 보려 한다. 그래도 쉽지는 않을 것이다.

두 단어를 다시 정의하면

교과서 정의를 잠시 내려놓고 조사 실무자의 말로 바꿔 보자. 미분은 "지금 이 순간 얼마나 빨리 변하고 있는가"를 묻는 계산이다. 그래프로 치면 곡선 위 한 점에서의 기울기다. 적분은 "그렇게 변하는 양이 쌓이면 결국 얼마가 되는가"를 묻는 계산이다. 그래프로 치면 곡선 아래 넓이다.

적분이 넓이라는 말이 잘 와닿지 않는다면 아래 그림을 보면 된다. 곡선 아래를 막대로 채우고 막대 넓이를 더하면 대략의 넓이가 나온다. 막대를 더 잘게 쪼갤수록 정확해지고, 무한히 잘게 쪼갠 극한이 적분이다. 고등학교 때 배운 구분구적법이 바로 이것이다.

[그림 1] 막대를 잘게 쪼갤수록 곡선 아래 넓이에 가까워진다

이 두 가지 질문, 즉 변화의 속도와 쌓인 양은 조사 업무 곳곳에서 등장한다. 하나씩 보자.

±3.1%p는 어디서 왔는가

여론조사 보도문 끝에는 항상 이런 문장이 붙는다. "95% 신뢰수준에서 표본오차 ±3.1%p." 이 숫자를 한 번이라도 직접 계산해 본 사람은 1.96이라는 상수를 기억할 것이다. 1,000명이면 1.96 × √(0.25/1000) ≈ 0.031, 그래서 3.1%p다.

문제는 그 1.96이 어디서 왔느냐다. 정답은 적분이다. 표본조사를 무한히 반복하면 결과값은 모집단 값 주변에 종 모양으로 분포한다. 이 종 모양 곡선에서 가운데 넓이가 정확히 0.95가 되는 구간을 찾으면 그 경계가 ±1.96σ다. 즉 95%라는 숫자는 확률이 아니라 넓이고, 넓이를 구하는 계산이 적분이다.

[그림 2] 95% 신뢰수준은 종 모양 곡선 아래 넓이 0.95를 뜻한다

정규분포 곡선의 적분은 초등함수로 풀리지 않아서 수치적으로 계산한 표를 쓴다. 통계학 교과서 뒤에 붙어 있는 표준정규분포표가 그 결과물이다. 우리가 외운 1.96은 그 표를 한 번 읽은 것이다.

표본을 늘리면 오차가 얼마나 줄까

견적을 낼 때 자주 받는 질문이 있다. "300명으로 하면 오차가 얼마고, 500명으로 늘리면 얼마나 좋아지나요?" 이 질문은 정확히 미분 질문이다. 오차한계는 표본 크기의 제곱근에 반비례해서 줄어드는데, 중요한 건 줄어드는 속도가 계속 느려진다는 것이다.

[그림 3] 표본 크기와 오차한계. 주황 접선의 기울기가 그 자리에서의 미분값이다

300명에서 100명을 더 늘리면 오차한계가 약 0.9%p 줄어든다. 그런데 1,000명에서 100명을 늘리면 0.15%p밖에 안 줄어든다. 같은 100명이고 같은 비용인데 효과는 여섯 배 차이다. 곡선의 기울기가 그만큼 완만해졌기 때문이다. 경제학에서 말하는 한계효용 체감이 여기서도 그대로 나타난다.

실무에서 "1,000명이면 충분합니다"라고 말하는 근거가 사실 이 기울기다. 1,000명 이후로는 표본을 두 배로 늘려도 오차는 0.9%p 정도밖에 안 줄어든다. 그 돈이면 차라리 무응답을 줄이는 데 쓰는 게 낫다는 판단은, 곡선의 기울기를 읽은 결과다.

지지율 40%보다 중요한 것

트래킹 조사를 하다 보면 숫자 하나보다 방향이 더 중요하다는 걸 몸으로 배운다. 아래 두 그래프는 둘 다 이번 주 지지율이 40%다. 그런데 하나는 8주 동안 6%p 올라서 40%가 됐고, 다른 하나는 6%p 빠져서 40%가 됐다.

[그림 4] 같은 40%지만 기울기가 다르다

이번 주 값만 보면 두 후보는 같다. 기울기를 보면 전혀 다른 상황이다. A는 매주 0.75%p씩 오르고 있고, B는 매주 0.75%p씩 빠지고 있다. 기울기는 값의 미분이다. 언론이 "지지율 40%"라는 수준을 보도하고 캠프가 "추세"를 걱정하는 이유가 여기 있다. 캠프는 미분값을 보고 있는 것이다.

한 발 더 나가면 기울기의 기울기, 즉 2차 미분도 의미가 있다. 하락 속도가 줄어들고 있으면 바닥이 가까워졌다는 신호이고, 하락 속도가 커지고 있으면 아직 멀었다는 신호다. 그래프를 오래 본 사람은 이걸 감으로 읽는다. 감이 아니라 계산으로도 읽을 수 있다는 것이 이 글의 요지다.

문자를 보내고 나면

모바일 웹조사는 문자를 발송한 뒤 응답이 들어오는 속도가 시간에 따라 크게 달라진다. 발송 직후 한두 시간에 응답이 몰리고, 이후 급격히 줄었다가, 저녁 시간대에 한 번 더 작은 봉우리가 생긴다. 이 시간당 유입 곡선이 왼쪽 그림이다.

[그림 5] 시간당 응답 유입(왼쪽)을 누적하면 누적 응답 수(오른쪽)가 된다

실사 담당자가 실제로 보는 화면은 오른쪽이다. 누적 응답 수가 얼마나 찼는지, 목표 1,000명까지 얼마나 남았는지. 두 그림의 관계가 바로 미분과 적분이다. 왼쪽 곡선의 0시간부터 6시간까지 넓이가 오른쪽 그래프의 6시간 시점 값과 같다. 거꾸로 오른쪽 곡선의 기울기가 왼쪽 곡선의 높이다.

이 관계를 알면 추가 발송 판단이 쉬워진다. 오른쪽 곡선이 평평해지기 시작하면 왼쪽 유입이 거의 멈췄다는 뜻이고, 그때가 추가 발송이 필요한 시점이다. 발송량을 정할 때도 마찬가지다. 응답률 5%를 기대하고 2만 건을 보낸다는 계산은, 유입 곡선 전체를 적분하면 1,000명이 된다는 계산과 같은 것이다.

SPSS가 대신 미분하고 있다

여기까지는 그림으로 보이는 미적분이었다. 진짜 많이 쓰이는 자리는 눈에 안 보이는 곳에 있다. 회귀분석, 로지스틱 회귀, 요인분석, 그리고 가중치 계산이다.

예를 들어 1,000명 중 400명이 어떤 후보를 지지했다고 하자. 모집단 지지율은 얼마로 추정해야 할까. 답은 당연히 40%인데, 왜 40%인지를 통계학은 이렇게 설명한다. 모집단 지지율이 p일 때 1,000명 중 400명이 나올 확률을 p의 함수로 그리면 아래처럼 산 모양이 된다. 이 산의 꼭대기가 가장 그럴듯한 p이고, 꼭대기는 접선의 기울기가 0인 곳이다. 즉 미분해서 0이 되는 p를 찾는 것이다. 이것이 최대우도추정이다.

[그림 6] 우도함수의 꼭대기는 미분값이 0인 자리다

이 예시는 답이 뻔해서 미분이 필요 없어 보인다. 하지만 로지스틱 회귀처럼 변수가 열 개쯤 되면 꼭대기를 눈으로 찾을 수 없다. 이때 통계 프로그램은 미분값을 계산해서 기울기가 0이 되는 방향으로 조금씩 이동하는 반복 계산을 한다. 결과표에 찍히는 회귀계수는 전부 그렇게 나온 값이다. SPSS 출력물에 "Iteration"이라는 단어가 보이면 그게 미분을 반복하고 있다는 뜻이다.

레이킹으로 가중치를 만들 때도 같은 일이 벌어진다. 성별, 연령, 지역 분포가 모집단과 일치하도록 가중치를 조정하는 과정은, 표본 분포와 목표 분포의 거리를 최소화하는 문제다. 최소화는 최대화와 같은 문제고, 그 도구는 다시 미분이다.

정리해 보면

조사 업무에서 미분과 적분이 어디에 숨어 있는지 표로 모아 봤다.

조사 현장의 일	숨어 있는 계산	미분인가 적분인가
오차한계 ±3.1%p 계산	정규분포 곡선의 95% 구간 넓이	적분
표본 300명을 500명으로 늘릴지 결정	표본 크기에 따른 오차 감소 속도	미분
트래킹 조사에서 추세 판단	지지율의 주간 변화율	미분
실사 중 누적 응답 관리	시간당 응답 유입의 누적	적분
회귀분석, 로지스틱 회귀	우도함수의 최댓값 찾기(기울기 0)	미분
레이킹 가중치 산출	반복 계산으로 목표 분포에 수렴	미분(최적화)
평균, 기대값	값과 확률의 곱을 전부 더함	적분(이산형은 합)

 

표를 보면 한 가지가 눈에 들어온다. 값을 구하는 일은 대체로 적분이고, 판단하는 일은 대체로 미분이다. 오차한계, 누적 응답, 평균은 쌓아서 나온 값이다. 표본을 더 늘릴지, 추세가 바뀌었는지, 어떤 계수가 가장 그럴듯한지는 기울기를 보고 내리는 판단이다.

그래서 배운 게 헛되지 않았나

솔직히 말하면 미분 공식은 다 잊었다. 지금 시험을 보면 문과 97학번 평균에도 못 미칠 것이다. 하지만 두 가지 질문은 남았다. 지금 얼마나 빨리 변하고 있는가, 그리고 이게 쌓이면 얼마가 되는가. 이 두 질문을 습관처럼 던지는 사람과 그렇지 않은 사람은 같은 결과표를 보고도 다른 것을 읽는다.

고등학교 수학이 미적분을 마지막에 배치한 이유가 그것이라고 생각한다. 계산 기술을 남기려는 게 아니라 질문하는 방식을 남기려는 것이다. 20년 뒤에 그 질문이 여론조사 실사 화면 앞에서 튀어나올 줄은 그때는 몰랐다.