2026년 11월 17일 화요일

필요도는 ‘필요하십니까’로 재지 않는다

 

필요도는 ‘필요하십니까’로 재지 않는다

개념 이름을 그대로 물어도 되는 문항, 안 되는 문항

공공기관 설문지를 보면 재려는 개념의 이름이 질문에 그대로 들어간 문항이 많다. 필요도를 알고 싶으면 “얼마나 필요하다고 생각하십니까”를 묻고, 중요도를 알고 싶으면 “얼마나 중요하다고 생각하십니까”를 묻는다. 한국행정연구원이 2014년에 공무원을 대상으로 한 생활안전관리 인식조사가 그런 예다. 이 조사표는 생활안전관리 업무에 첨단기술을 도입·활용하는 것이 얼마나 필요한지를 5점 척도로 묻고, 뒤에서 첨단기술을 활용하는 것이 얼마나 중요한지를 다시 5점 척도로 묻는다. 묻는 대상은 같고 개념 이름만 다르다.

나는 이런 문항으로는 연구자가 알고 싶은 것을 얻기 어렵다고 본다. 그런데 이 논리를 끝까지 밀고 가면 곤란한 문항이 생긴다. 만족도를 알려고 만족하는지를 묻고, 행복도를 알려고 행복했는지를 묻는 문항이다. 한국보건사회연구원의 「2025년 사회통합 실태조사」 조사표에는 다음 두 문항이 들어 있다.

문B1. 귀하는 어제 어느 정도 행복하셨습니까?

문B4. 귀하는 요즘 전반적으로 삶에 얼마나 만족하십니까?

한국보건사회연구원 「2025년 사회통합 실태조사」 조사표

행복도는 행복했느냐로, 만족도는 만족하느냐로 묻는다. 이것까지 잘못이라고 하면 OECD가 권하는 주관적 웰빙 측정 방식이 통째로 틀린 셈이 된다. 그러니 개념 이름을 질문에 넣는 것 자체가 문제는 아니다. 어떤 개념은 그렇게 물어도 되고 어떤 개념은 안 된다. 이 글은 둘을 가르는 기준을 정리한 것이다.

개념 이름을 질문에 넣는다는 것

조사 설계에서 개념을 관찰할 수 있는 응답으로 옮기는 일을 조작적 정의라고 한다. 필요도를 재려면 무엇을 물어서 어떤 응답이 나오면 필요가 크다고 볼지를 연구자가 정해야 한다. 개념 이름을 그대로 질문에 넣으면 이 일을 응답자에게 맡기게 된다. 응답자는 저마다 ‘필요’를 자기 방식으로 해석하고, 연구자는 서로 다른 해석에서 나온 응답을 한 칸에 모아 필요도라고 부른다.

응답자에게 맡기는 것이 맞는 개념도 있다. 응답자 머릿속에 있는 상태가 곧 개념인 경우다. 요즘 삶에 얼마나 만족하는지는 응답자 말고는 아는 사람이 없고, 응답자가 스스로 매긴 점수 말고 다른 정의를 세울 수도 없다. 이때는 개념 이름으로 묻는 문항이 곧 조작적 정의다. 문제는 개념이 응답자 머릿속이 아니라 연구자 쪽에 있을 때 생긴다. 연구자가 기준을 세워야 정의되는 개념이거나, 연구자가 그 숫자로 무언가를 결정하려는 개념일 때다.

필요도는 응답자가 답하는 것과 연구자가 쓰려는 것이 다르다

얼마나 필요하냐는 질문을 받은 응답자는 ‘필요’를 여러 뜻으로 읽는다. 있으면 좋다는 뜻으로 읽는 사람도 있고 없으면 곤란하다는 뜻으로 읽는 사람도 있다. 나에게 필요한지를 묻는다고 생각하는 사람이 있고, 우리 사회에 필요한지를 묻는다고 생각하는 사람이 있다. 같은 ‘매우 필요하다’에 서로 다른 뜻이 담긴다.

더 큰 문제는 질문에 비용이 없다는 점이다. 응답자는 그 사업에 돈이 얼마나 들고, 그 돈을 쓰면 무엇을 포기해야 하는지 생각하지 않고 답한다. 있어서 나쁠 것 없는 사업이면 필요하다고 답하기 쉽다. 여기에 공공사업에 ‘필요 없다’고 말하기 꺼리는 마음과, 질문 문장에 동의하는 쪽으로 기우는 응답 경향이 더해진다. 그래서 정책 필요도 문항은 대부분의 항목이 긍정 쪽에 몰리고 항목 사이 차이가 작게 나오기 쉽다. 결과보고서에는 필요하다는 응답이 많았다는 문장이 항목 수만큼 되풀이된다.

필요라는 개념이 원래 응답자 머릿속에만 있는 것도 아니다. 영국 사회정책학자 브래드쇼(Bradshaw, 1972)는 사회적 필요를 네 가지로 나눴다. 전문가나 행정가가 정한 기준에 못 미치는 상태인 규범적 필요, 당사자가 원한다고 느끼는 체감 필요, 그 느낌이 서비스 신청처럼 행동으로 드러난 표출 필요, 서비스를 받는 다른 집단과 같은 조건인데도 받지 못하는 상태인 비교 필요다. “필요하십니까”로 잴 수 있는 것은 이 가운데 체감 필요 하나이고, 그것도 비용을 따지지 않은 체감 필요다. 정책을 짜는 쪽이 알고 싶은 것은 대개 기준에 못 미치는 사람이 얼마나 되는지, 그 사람들이 지금 어떻게 지내고 있는지다.

그래서 필요도는 판단 대신 경험과 사실을 묻는 편이 낫다. 그 문제 때문에 불편을 겪은 적이 있는지, 얼마나 자주 겪는지, 지금 대신 쓰는 수단이 있는지, 거기에 돈이나 시간을 얼마나 쓰는지를 묻는다. 이렇게 물으면 필요를 ‘문제를 겪는데 마땅한 대안이 없는 상태’로 정의할 수 있고, 그 상태에 있는 사람이 전체에서 얼마나 되는지 추정할 수 있다. 겪은 일을 묻는 문항은 생각을 묻는 문항보다 응답자의 해석에 덜 흔들린다. 신청자 수나 대기자 수처럼 행정자료에 이미 쌓여 있는 표출 필요가 있다면 조사보다 그 자료를 먼저 보는 것이 맞다.

중요도는 고르지 않아도 되면 다 중요하다

중요도 문항도 같은 문제를 안고 있다. 항목마다 얼마나 중요한지를 따로 물으면 응답자는 어느 하나를 포기하지 않아도 된다. 모두 중요하다고 답해도 잃을 것이 없다. 앨윈과 크로스닉(Alwin & Krosnick, 1985)은 1980년 미국 종합사회조사(GSS) 자료로 가치를 재는 두 방식을 비교했다. 항목마다 점수를 매기는 평정 방식과 항목에 순서를 매기는 순위 방식이다. 표본 전체에서 어떤 가치를 더 중시하는지의 순서는 두 방식이 비슷했지만, 개인 차이를 재는 데서는 결과가 달랐다. 후속 연구(Krosnick & Alwin, 1988)는 평정 문항에서 응답자 일부가 어려운 선택을 피하고 모든 항목을 똑같이 높게 매긴 것을 그 원인으로 보았다. 이렇게 항목 사이에 차이를 두지 않은 응답자를 빼고 분석하자 평정 결과가 순위 결과와 비슷해졌다.

중요도를 알고 싶다면 하나를 고르면 다른 하나를 놓치게 만들어야 한다. 가장 손쉬운 방법은 순위를 묻는 것이다. 문항이 많은 설문이라면 1순위 하나만 받아도 충분하고, 2순위까지 받는다면 1순위와 1·2순위 합산 두 가지로 보면 된다. 한국보건사회연구원의 「저출산·고령사회 대응 국민 인식 및 가치관 설문조사」는 이렇게 묻는다.

문A8. 귀하는 향후 저출산 문제를 해결하기 위하여 가장 필요한 정책이 무엇이라고 생각하십니까? 우선순위가 높은 순으로 2가지를 선택하여 주십시오.

한국보건사회연구원 「저출산·고령사회 대응 국민 인식 및 가치관 설문조사」 조사표

‘필요’라는 말을 썼지만 여섯 개 보기 가운데 두 개만 고르게 했기 때문에 정책 사이의 순서를 읽을 수 있다. 같은 조사표의 문B43은 “고령자 정책과 아동 정책 중 상대적으로 더 중요한 정책은 어떤 것이라고 생각하십니까?”를 묻고, “고령자 정책이 아동 정책에 비해 훨씬 더 중요하다”부터 “아동 정책이 고령자 정책에 비해 훨씬 더 중요하다”까지 다섯 개 보기를 준다. 두 정책을 한 문항 안에서 맞세웠기 때문에 어느 쪽으로 얼마나 기우는지가 나온다.

견줄 항목이 많으면 최대차이척도(MaxDiff, best-worst scaling)를 쓸 수 있다. 항목 네다섯 개를 한 묶음으로 보여 주고 그중 가장 중요한 것과 가장 덜 중요한 것을 고르게 하는 일을, 묶음을 바꿔 가며 되풀이한다(Louviere, Flynn, & Marley, 2015). 100점이나 가상의 예산을 주고 항목에 나눠 주게 하는 고정합 방식도 있다. 어느 방식이든 응답자는 항목끼리 견주어야 답할 수 있다.

중요도를 아예 묻지 않는 방법도 있다. 항목별 만족도와 전반 만족도를 묻고, 전반 만족도를 항목별 만족도로 회귀분석해서 나온 계수나 상관계수를 중요도로 쓴다. 이를 유도 중요도(derived importance)라고 한다. 마틸라와 제임스(Martilla & James, 1977)가 처음 내놓은 중요도-성과 분석(IPA)은 응답자가 직접 매긴 중요도를 썼지만, 지금은 유도 중요도로 IPA를 그리는 일도 흔하다.

두 중요도는 서로 다른 것을 잰다. 직접 물은 중요도는 응답자가 의식하는 우선순위이고, 유도 중요도는 항목 점수가 오르내릴 때 전반 만족도가 얼마나 따라 움직이는지다. 그래서 두 값이 어긋나는 일이 잦다. 흔히 드는 예가 항공사의 안전이다. 직접 물으면 안전이 가장 중요하다고 나오지만, 항공사마다 안전 평가가 비슷하면 안전 점수로는 전반 만족도의 차이를 설명하지 못해 유도 중요도가 낮게 나올 수 있다. 어느 쪽이 참값이냐를 따질 일은 아니다. 두 값이 어긋나는 항목을 찾아 그 이유를 해석하면 된다.

꼭 척도 문항을 써야 한다면 비용이나 포기할 것을 문장 안에 넣는 방법이 있다. “다른 사업 예산을 줄이더라도”, “세금이 늘어나더라도” 같은 조건을 붙이면 응답자는 그 조건을 감수할 만큼인지를 생각하고 답하게 된다.

만족도와 행복도는 왜 직접 물어도 되나

만족과 행복은 응답자 머릿속에 있는 상태 자체가 측정 대상이다. 연구자가 응답자 바깥에서 기준을 세워 만족을 정의할 길이 없다. OECD가 2013년에 낸 주관적 웰빙 측정 가이드라인도 삶의 만족을 0~10점 척도로 직접 묻는 문항을 기본 문항으로 권한다. 2025년에 나온 개정판의 기본 모듈 역시 삶 평가와 정서, 삶의 의미를 직접 묻는 문항으로 짜여 있다.

필요도·중요도와 견주면 차이가 드러난다. 필요도 문항으로 연구자가 알고 싶은 것은 예산을 어디에 먼저 쓸지인데, 응답자는 있으면 좋은지를 답한다. 만족도 문항으로 연구자가 알고 싶은 것은 응답자가 얼마나 만족하는지이고, 응답자도 그것을 답한다. 묻는 말과 알고 싶은 것이 같다.

다만 ‘여부’로 묻는 것은 다른 문제다. 만족하는지 아닌지를 예와 아니오로 자르면 정도의 차이가 사라지고, 어디서부터 만족으로 칠지를 응답자마다 다르게 정한다. 개념 이름으로 묻더라도 척도로 물어야 한다.

척도로 물어도 남는 문제가 있다. 고객만족도 자기 보고는 거의 언제나 긍정 쪽으로 기울고 분포가 높은 점수 쪽에 몰린다(Peterson & Wilson, 1992). 그래서 점수 수준 자체보다 시점 사이의 변화나 집단 사이의 차이를 읽는 편이 안전하다. 집단 비교에도 조심할 점이 있다. 만족은 성과를 기대와 견주어 내리는 판단이어서, 같은 서비스를 받아도 기대가 낮은 집단은 더 만족한다고 답할 수 있다. 밴 라이진(Van Ryzin, 2004)은 뉴욕시 시민조사 자료로 공공서비스 만족이 서비스 성과뿐 아니라 시민의 기대, 그리고 성과가 기대에서 어긋난 정도에 좌우된다는 것을 보였다. 공공서비스 만족도는 이용해 본 사람에게만 묻고, 집단끼리 비교할 때는 기대 수준이 다를 수 있다는 점을 염두에 둬야 한다.

행복은 한 문항으로 묻지 않는 편이 낫다. ‘행복’이라는 말에는 삶 전체를 돌아보는 평가와 그때그때 느끼는 감정이 섞여 있다. 그래서 주관적 웰빙 측정에서는 삶 평가와 정서를 따로 묻는다. 앞에서 본 「2025년 사회통합 실태조사」가 그렇게 짜여 있다. 문B1부터 문B3까지는 어제 얼마나 행복했는지, 걱정했는지, 우울했는지를 묻고, 문B4에서 요즘 삶에 얼마나 만족하는지를 묻는다. 문B5는 맨 아래가 최악의 삶, 꼭대기가 최상의 삶인 0~10점 사다리에서 지금 자신이 어디쯤 있는지 고르게 한다. 행복을 ‘어제 느낀 감정’으로 좁혀 물었기 때문에 삶 평가와 섞이지 않는다.

주관적 웰빙 문항은 앞에 놓인 문항에 특히 잘 흔들린다. 스트랙 등(Strack, Martin, & Schwarz, 1988)은 대학생에게 삶 전반의 만족과 지난달 데이트 횟수를 물으면서 두 문항의 순서를 바꿔 보았다. 삶의 만족을 먼저 물었을 때 두 응답의 상관계수는 -0.12였는데, 데이트 횟수를 먼저 묻자 0.66으로 올라갔다. 앞 문항이 떠올리게 한 내용이 삶 전체를 평가하는 판단에 끼어든 것이다. OECD 가이드라인이 주관적 웰빙 문항을 대상자 확인 문항과 가구·인구 문항 바로 뒤, 설문의 되도록 앞쪽에 두라고 권하는 것도 이 때문이다.

네 가지 물음으로 가르기

개념 이름으로 직접 물어도 되는지는 다음 네 가지 물음으로 가를 수 있다.

1. 응답자가 답을 스스로 알 수 있는가

지금 느끼는 감정이나 지금 내리는 평가는 본인이 가장 잘 안다. 반면 자신이 왜 그렇게 행동했는지, 무엇에 영향을 받았는지는 본인도 잘 모른다. 니스벳과 윌슨(Nisbett & Wilson, 1977)이 소개한 실험에서 똑같은 스타킹 네 켤레를 나란히 놓고 고르게 하자, 오른쪽 끝에 놓인 것이 왼쪽 끝 것보다 네 배쯤 많이 선택됐다. 고른 이유를 물었을 때 위치를 말한 사람은 없었고, 위치 때문일 수 있느냐고 묻자 거의 모두 아니라고 했다. 구매 이유나 광고 효과를 응답자에게 직접 묻는 문항을 믿기 어려운 까닭이다. 앞으로 할 행동도 마찬가지다. 이용 의향은 실제 이용보다 높게 나오기 쉽다. 의도와 행동 사이의 간격은 주로 하겠다고 답해 놓고 하지 않는 사람들에게서 생긴다(Sheeran, 2002).

2. 연구자가 그 숫자로 하려는 일과 응답자가 답하는 내용이 같은가

만족도는 같고 필요도와 중요도는 다르다. 연구자는 순서를 정해 자원을 나누려 하는데, 응답자는 비용을 생각하지 않고 좋은지 나쁜지를 답한다. 이 물음에 걸리는 개념은 응답자가 고르게 만들거나 다른 문항에서 통계적으로 끌어내야 한다.

3. 연구자가 기준을 세워야 정의되는 개념인가

필요, 빈곤, 주거 취약, 디지털 역량처럼 바깥 기준이 있어야 성립하는 개념은 그 이름으로 물어서는 안 된다. 스스로 가난하다고 느끼는지 물어서 빈곤율을 낼 수는 없다. 그렇게 물은 결과는 주관적 빈곤이라는 다른 지표가 된다. 이런 개념은 구성 요소를 사실 문항으로 묻고 연구자가 정한 기준으로 합쳐야 한다.

4. 솔직하게 답해도 부담이 없는가

사회적으로 바람직한 답이 정해져 있는 질문은 직접 물으면 응답이 그쪽으로 기운다. 투표 여부가 대표적이다. 선거 뒤 조사에서 투표했다고 답한 비율은 실제 투표율보다 높게 나온다. 미국 선거연구(ANES)는 투표 여부를 예와 아니오로 묻지 않고 다음 네 보기 가운데 고르게 한다.

① 이번 선거에서 투표하지 않았다

② 이번에 투표할 생각은 했지만 하지 않았다

③ 평소에는 투표하지만 이번에는 하지 않았다

④ 확실히 투표했다

ANES 2024 Time Series Study 사후조사 투표 여부 문항의 보기(필자 번역)

투표하지 않은 사람이 체면을 지키면서 답할 수 있게 만든 보기다. 더프 등(Duff et al., 2007)은 2002년 ANES에서 이 문항을 기존 문항과 비교해 투표 과대 보고가 8%포인트쯤 줄어드는 것을 확인했다.

민감한 태도를 물을 때는 리스트 실험 같은 간접 방식을 쓴다. 응답자를 무작위로 둘로 나눠 한쪽에는 일반 항목 몇 개를, 다른 쪽에는 같은 항목에 민감한 항목 하나를 더해 보여 준다. 응답자는 어느 항목에 해당하는지 밝히지 않고 해당하는 항목이 몇 개인지만 답한다. 두 집단의 평균 개수 차이가 민감한 항목에 해당하는 사람의 비율이 된다. 직접 묻는 조사들은 미국 남부 백인의 인종 태도가 다른 지역과 비슷해졌다고 보여 왔는데, 쿠클린스키 등(Kuklinski, Cobb, & Gilens, 1997)은 리스트 실험으로 남부의 인종 편견이 여전히 높고 다른 지역보다 뚜렷하게 높다는 것을 보였다.

네 가지 물음을 개념별로 적용하면 표 1과 같다. 네 칸이 모두 ○인 개념만 그 이름으로 직접 물어도 된다.

표 1. 개념별로 본 직접 질문 가능 여부

개념

① 응답자가

아는가

② 쓰임과

같은가

③ 기준 없이

정의되나

④ 부담 없이

답하나

대신 쓸 방법

삶의 만족

○

○

○

○

0~10점 척도로 직접, 설문 앞쪽에 배치

어제의 정서(행복·걱정·우울)

○

○

○

○

어제 하루로 좁혀 감정별로 따로

공공서비스 만족

○

○

○

○

이용자에게만, 척도로

필요도

○

×

×

○

문제 경험·빈도·대안 유무, 행정자료

중요도

○

×

○

○

순위, 맞비교, MaxDiff, 유도 중요도

이용 의향

×

×

○

○

과거 이용 경험, 비슷한 서비스 이용 실적

선택 이유·광고 효과

×

×

○

○

노출이나 배치를 무작위로 바꾸는 실험

투표 여부

○

○

○

×

체면을 살리는 보기, 투표 기록 대조

민감한 태도

○

○

○

×

리스트 실험

○는 그렇다, ×는 그렇지 않다는 뜻이다. ②는 연구자가 그 숫자로 하려는 일과 응답자가 답하는 내용이 같은지, ③은 연구자가 바깥 기준을 세우지 않아도 정의되는지를 본다.

문항을 쓰기 전에

문항 초안을 쓰기 전에 그 숫자를 받아서 무엇을 할지 한 줄로 적어 보면 어느 쪽인지 대개 드러난다. 사람들이 지금 어떤 상태인지 알고 싶다면 개념 이름으로 직접 묻되 척도로 물으면 된다. 사업의 순서를 정하려면 응답자가 고르게 해야 한다. 지원 대상이 몇 명인지 세려면 겪은 일을 물어야 하고, 앞으로 이용할 사람을 내다보려면 지금까지 이용한 경험을 물어야 한다.

조사 항목표에 ‘필요 여부’, ‘중요 여부’라고 적혀 있다면 그 항목은 아직 설계가 덜 끝난 것이다. 무엇을 재려는지 연구자가 아직 정하지 않았다는 뜻이다.

참고문헌

한국보건사회연구원 (2025). 「2025년 사회통합 실태조사」 조사표.

한국보건사회연구원. 「저출산·고령사회 대응 국민 인식 및 가치관 설문조사」 조사표.

한국행정연구원 (2014). 「생활안전관리 목적의 첨단기술 활용에 대한 공무원 인식조사」 조사표. 한국사회과학데이터센터(KOSSDA) 자료번호 A1-2014-0206.

Alwin, D. F., & Krosnick, J. A. (1985). The measurement of values in surveys: A comparison of ratings and rankings. Public Opinion Quarterly, 49(4), 535–552.

American National Election Studies. ANES 2024 Time Series Study, Full Release. Codebook, V242065POST.

Bradshaw, J. (1972). A taxonomy of social need. In G. McLachlan (Ed.), Problems and progress in medical care: Essays on current research (7th series, pp. 71–82). Oxford University Press.

Duff, B., Hanmer, M. J., Park, W.-H., & White, I. K. (2007). Good excuses: Understanding who votes with an improved turnout question. Public Opinion Quarterly, 71(1), 67–90.

Krosnick, J. A., & Alwin, D. F. (1988). A test of the form-resistant correlation hypothesis: Ratings, rankings, and the measurement of values. Public Opinion Quarterly, 52(4), 526–538.

Kuklinski, J. H., Cobb, M. D., & Gilens, M. (1997). Racial attitudes and the “New South”. Journal of Politics, 59(2), 323–349.

Louviere, J. J., Flynn, T. N., & Marley, A. A. J. (2015). Best-worst scaling: Theory, methods and applications. Cambridge University Press.

Martilla, J. A., & James, J. C. (1977). Importance-performance analysis. Journal of Marketing, 41(1), 77–79.

Nisbett, R. E., & Wilson, T. D. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological Review, 84(3), 231–259.

OECD (2013). OECD guidelines on measuring subjective well-being. OECD Publishing.

OECD (2025). OECD guidelines on measuring subjective well-being: 2025 update. OECD Publishing.

Peterson, R. A., & Wilson, W. R. (1992). Measuring customer satisfaction: Fact and artifact. Journal of the Academy of Marketing Science, 20(1), 61–71.

Sheeran, P. (2002). Intention–behavior relations: A conceptual and empirical review. European Review of Social Psychology, 12(1), 1–36.

Strack, F., Martin, L. L., & Schwarz, N. (1988). Priming and communication: Social determinants of information use in judgments of life satisfaction. European Journal of Social Psychology, 18(5), 429–442.

Van Ryzin, G. G. (2004). Expectations, performance, and citizen satisfaction with urban services. Journal of Policy Analysis and Management, 23(3), 433–448.

가중해도 숫자가 안 바뀌면 괜찮은 걸까

 

가중해도 숫자가 안 바뀌면 괜찮은 걸까

학력·소득 쏠림을 넘기는 흔한 논리와 사라지는 배경문항

조사를 마치고 응답자 분포를 보면 학력이나 소득 구성이 모집단과 꽤 다를 때가 많다. 이럴 때 자주 듣는 말이 있다. 학력이나 소득은 태도에 미치는 영향이 크지 않으니 분포가 좀 달라도 상관없다는 말이다.

나도 한동안 그렇게 생각했다. 성·연령·지역 가중에 직업·학력·소득을 더해 가중해 봐도 주요 문항의 결과가 별로 달라지지 않았기 때문이다. 결과가 그대로이니 굳이 신경 쓸 필요가 없다고 여겼다.

그런데 따져 보면 이 논리는 계산 단계까지만 맞다. 거기서 끌어낸 결론, 곧 쏠려도 괜찮다는 판단은 근거가 부족하다. 왜 그런지 차례로 적어 둔다.

계산만 놓고 보면 맞는 말이다

변수 하나만 떼어 놓고 보면 이 주장은 계산으로 뒷받침된다. 집단이 둘일 때 구성비 쏠림이 만드는 편향은 다음과 같다.

편향 = (표본의 집단 비율 − 모집단의 집단 비율) × (두 집단의 응답 차이)

두 집단의 응답 차이가 작으면 표본 구성이 아무리 쏠려도 편향은 작다. 여기까지는 맞다. 따져 봐야 할 것은 ‘작다’의 기준이다. 표 1은 대졸 이상 비율이 모집단보다 25%p 높게 잡힌 가상의 예다. 대졸 이상과 비대졸의 찬성률 차이가 10%p라면 이 쏠림 하나로 2.5%p의 편향이 생긴다.

표 1. 학력 쏠림 하나로 생기는 편향(가상 예시)

구분

대졸 이상 비율

비대졸 비율

전체 찬성률

모집단

35.0%

65.0%

43.5%

표본

60.0%

40.0%

46.0%

차이

+25.0%p

-25.0%p

+2.5%p

주: 집단별 찬성률은 대졸 이상 50.0%, 비대졸 40.0%로 두었다. 편향 2.5%p는 0.25 × 10.0%p로 계산한 값과 같다.

2.5%p는 표본오차 안에 드는 크기라 대수롭지 않아 보일 수 있다. 하지만 표본오차와 달리 이 편향은 표본을 늘려도 줄지 않는다. 1,000명을 조사하든 1만 명을 조사하든 같은 방향으로 같은 크기만큼 기운다. 학력과 소득은 대개 같은 쪽으로 쏠려 있어서 서로 상쇄되지도 않는다. 접전 선거나 시계열 추세를 보는 조사라면 이 정도 차이로도 해석이 달라진다.

‘영향이 작다’는 판단을 믿기 어려운 이유

학력이 태도에 별 영향이 없다는 판단은 대개 같은 조사의 교차표에서 나온다. 학력별로 결과를 나눠 보니 차이가 몇 %p밖에 안 된다는 식이다. 그런데 그 교차표를 만든 표본이 바로 학력이 쏠린 표본이다.

온라인 조사에 응한 저학력 응답자를 떠올려 보면 쉽다. 이들은 스마트폰 화면에 익숙하고 조사 주제에도 관심이 있어서 끝까지 응답한 사람들이다. 같은 학력의 비응답자보다 고학력 응답자를 더 닮았을 가능성이 크다. 그렇다면 표본 안에서 본 학력별 차이는 모집단의 실제 차이보다 작게 나온다. 쏠린 표본으로 그 쏠림이 괜찮은지 판정하는 셈이다.

추가 가중을 해도 숫자가 잘 안 움직이는 경험도 드문 일이 아니다. 퓨리서치센터(Pew Research Center, 2018)는 온라인 옵트인 패널 3곳에서 얻은 응답 3만여 건으로 여러 가중 방식을 비교했다. 24개 벤치마크 문항의 평균 편향은 가중 전 8.4%p였고, 인구 변수에 정치 변수까지 넣은 최선의 조합에서도 6%p까지밖에 줄지 않았다. 정확도를 좌우한 것은 통계 기법보다 어떤 변수로 가중하느냐였고, 가장 효과적인 보정으로도 편향의 대부분은 남았다.

따져야 할 것은 숫자가 안 움직인 이유다. 설명은 두 가지가 가능하다. 하나는 쏠린 변수가 그 문항의 태도와 실제로 별 관계가 없는 경우다. 이때는 그 변수로 가중할 필요가 없다. 다른 하나는 학력·소득 칸마다 들어온 응답자가 이미 서로 비슷한 사람들이어서 칸별 비중을 바꿔도 결과가 같은 경우다. 이때 편향은 칸 안에 있고 학력 가중으로는 손댈 수 없다. 곤란한 것은 표본 안에서는 두 경우가 똑같이 보인다는 점이다.

표 2. 가중해도 숫자가 안 바뀔 때 가능한 두 해석

구분

첫째 해석

둘째 해석

무슨 뜻인가

쏠린 변수와 태도가 별 관계가 없다

칸 안의 응답자가 그 칸을 대표하지 못한다

추정치는

대체로 맞다

가중 전이든 후든 틀릴 수 있다

그 변수의 가중은

빼도 된다

해도 안 해도 편향이 남는다

확인 방법

외부 조사에서 집단 간 차이를 확인한다

칸 안 응답자를 외부 기준값과 비교한다

주: 두 해석은 표본 안의 숫자만으로는 구별되지 않는다. 표본 바깥의 기준값이 있어야 가릴 수 있다.

두 번째 경우를 이해하려면 학력과 태도의 상관보다 응답 여부와 태도의 상관을 봐야 한다. 학력이 쏠렸다는 것은 응답자가 무작위로 들어오지 않았다는 증거다. 쏠림을 만든 원인, 예컨대 조사나 사회 문제에 관심이 많은 성향은 학력과 상관없이 태도에 영향을 줄 수 있다. 학력으로 가중해도 숫자가 그대로라면 편향이 학력 때문에 생기지 않았다는 뜻일 뿐 편향이 없다는 뜻은 아니다. 칸 안의 응답자가 그 칸을 대표하지 못하면 가중은 그 사람들의 응답 비중을 키울 뿐이다.

Abraham, Helms, Presser(2009)의 자원봉사 연구가 이런 경우를 보여 준다. 미국 시간사용조사(ATUS)는 현재인구조사(CPS) 응답자 가운데서 표본을 뽑는다. 연구진은 CPS 자원봉사 부가조사 응답을 이용해 나중에 ATUS에 응한 사람과 응하지 않은 사람을 비교했다. 나중에 ATUS에 응한 사람들이 CPS 부가조사에서 자원봉사를 훨씬 많이 했다고 답했고, 이 차이는 인구 집단별로 나눠 봐도 그대로 나타났다. 그래서 통상적인 무응답 보정으로는 편향을 바로잡을 수 없었다. 눈여겨볼 대목은 자원봉사 수준은 부풀려졌는데도 누가 자원봉사를 더 하는지 따진 결과는 대체로 흔들리지 않았다는 것이다. 집단 간 차이가 그럴듯하게 나온다고 해서 수준까지 맞는다는 보장은 없다.

한국 조사에서 더 따져 볼 것

한국에서는 학력이 연령과 강하게 묶여 있다. 고령층일수록 대졸 비율이 낮다. 그래서 연령만 맞추는 가중으로는 학력 쏠림이 해결되지 않고 가려진다. 60대 이상 칸을 대졸 고령자가 많이 채우면 60대 이상 비율은 모집단과 같아져도 그 칸의 응답은 평균적인 60대 이상과 다르다. 학력 단독 분포보다 연령×학력 교차 분포에서 쏠림이 훨씬 크게 드러나는 까닭이다.

‘영향이 작다’는 판단이 문항마다, 시기마다 달라진다는 것도 문제다. 정당 지지처럼 학력 효과가 비교적 작게 나오는 문항이 있는가 하면, AI나 디지털 서비스 이용, 부동산과 세금처럼 학력과 소득에 따라 응답이 크게 갈리는 문항도 있다. Groves와 Peytcheva(2008)가 59개 연구를 모아 분석한 결과에서도 무응답 편향의 크기는 같은 조사 안에서 문항마다 크게 달랐다. 몇 개 문항에서 확인한 결과를 조사 전체로 넓히면 안 된다.

시기도 마찬가지다. 2016년 미국 대선 때 주 단위 여론조사 상당수는 학력으로 가중하지 않았다. 이전 선거에서는 학력에 따른 투표 차이가 그리 크지 않았기 때문이다. 그런데 그해에는 학력별 투표 격차가 크게 벌어졌고, 대졸자가 과대표된 표본은 클린턴 지지를 높게 잡았다. AAPOR 평가위원회(2017)가 꼽은 주요 원인 가운데 하나다. 지난 선거까지 영향이 작았다고 해서 다음 선거도 그렇다는 보장은 없다.

배경문항에서 빼면 생기는 일

실무에서는 이 논리가 배경문항을 빼는 근거로도 쓰인다. 분석에 쓰지 않는다는 이유로 학력이나 소득 문항을 아예 묻지 않는 것이다. 요즘 공표용 선거여론조사에서는 학력을 묻는 경우를 찾기 어렵다. 지난 대선에서 누구에게 투표했는지 묻는 문항도 당선자 쪽 과대 응답이 문제가 되면서 어느새 자취를 감췄다.

과대 응답 문제는 사실이다. 당선자 쪽 응답이 부풀고, 정국에 따라서는 진 쪽에 투표한 사실을 숨기기도 해서 가중 기준으로 쓰기는 어렵다. 그래도 같은 시기에 같은 방식으로 한 조사끼리 비교하는 점검용으로는 쓸 만하다. 부풀려지는 정도가 비슷하니 어느 조사 표본이 한쪽으로 기울었는지는 보인다.

빠진 문항들에는 공통점이 있다. 학력은 인구주택총조사와, 지난 대선 투표는 실제 득표율과 맞춰 볼 수 있다. 둘 다 바깥에 기준값이 있는 문항이다. 남아 있는 지지 정당이나 이념 성향은 그 자체가 태도라서 맞춰 볼 기준값이 없다. 외부 수치와 대조할 수 있는 문항만 골라서 빠진 셈이다.

조사회사로서는 빼는 편이 편하다. 공표용 선거여론조사는 성·연령·지역을 기준으로 가중하고 가중값 배율을 0.7~1.5배 안에 두게 돼 있다. 학력이나 지난 투표는 가중 기준에 없으니 물어봐야 쏠림만 드러날 뿐 쓸 데가 없다. 그런데 성·연령·지역은 통신사 가상번호를 받을 때부터 인구 비율에 맞춰 요청하는 값이다. 처음부터 맞춰 놓은 변수만 확인하고 표본이 대표성을 갖췄다고 말하는 구조가 된다.

그러다 보니 선거 때마다 표본 쏠림 논쟁이 근거 없이 되풀이된다. 한쪽은 진보 성향 응답자가 과표집됐다고 하고, 다른 쪽은 보수 성향 응답자가 과하게 들어갔다고 한다. 학력도 지난 투표도 묻지 않았으니 어느 주장도 숫자로 확인할 수 없다. 공격받을 숫자를 만들지 않으면 당장은 편하지만, 공격받았을 때 반박할 숫자도 함께 없어진다.

가중에서 빼는 것과 설문에서 빼는 것은 다르다

추가 가중을 해도 숫자가 안 바뀌었다면 그 변수를 가중에서 빼는 판단은 할 수 있다. 가중 변수를 늘리면 가중치 편차가 커져 분산도 늘어나니 효과가 없는 변수를 굳이 넣을 이유는 없다. 하지만 배경문항은 분석에도 쓰지만 표본을 점검하는 데도 쓴다. 가중에 쓰지 않더라도 남겨 두면 다음과 같은 점검을 할 수 있다.

1.     학력 단독 분포와 함께 연령×학력 교차 분포를 인구주택총조사와 비교한다. 쏠림이 어느 연령대에 몰려 있는지 알 수 있다.

2.     칸 안의 응답자를 외부 기준값과 비교한다. 표본 속 저학력 응답자의 자원봉사 참여율을 통계청 사회조사처럼 응답률이 높은 정부 조사의 같은 학력 집단 값과 견주는 식이다. 표본 쪽이 크게 높다면 편향은 칸 안에 있다고 봐야 한다.

3.     성·연령·지역만 맞춘 결과와 학력까지 맞춘 결과를 함께 계산해 두고, 차이가 큰 문항을 따로 표시한다.

4.     선거 조사라면 지난 투표 문항을 남겨 두고 같은 시기 다른 조사의 분포와 비교한다.

빼고 싶은 사정이 있는 문항도 있다. 소득은 무응답과 중도 이탈이 많고, 직업은 분류 코딩이 번거롭다. 그러나 학력은 보기 네댓 개짜리 한 문항이라 응답 부담이 거의 없고 민감하지도 않다. 분석에 안 쓴다는 이유로 빼기에는 잃는 것이 너무 많은 문항이다.

참고문헌

AAPOR Ad Hoc Committee on 2016 Election Polling (2017). An Evaluation of 2016 Election Polls in the U.S. American Association for Public Opinion Research.

Abraham, K. G., Helms, S., & Presser, S. (2009). How social processes distort measurement: The impact of survey nonresponse on estimates of volunteer work in the United States. American Journal of Sociology, 114(4), 1129-1165.

Groves, R. M., & Peytcheva, E. (2008). The impact of nonresponse rates on nonresponse bias: A meta-analysis. Public Opinion Quarterly, 72(2), 167-189.

Pew Research Center (2018). For Weighting Online Opt-In Samples, What Matters Most? (Mercer, A., Lau, A., & Kennedy, C.)

중앙선거여론조사심의위원회. 「선거여론조사기준」.

필요도는 ‘필요하십니까’로 재지 않는다

  필요도는 ‘ 필요하십니까 ’ 로 재지 않는다 개념 이름을 그대로 물어도 되는 문항 , 안 되는 문항 공공기관 설문지를 보면 재려는 개념의 이름이 질문에 그대로 들어간 문항이 많다 . 필요도를 알고 싶으면 “ 얼마나 필요하다고 생각...