필요도는 ‘필요하십니까’로 재지 않는다
개념 이름을
그대로 물어도 되는 문항, 안 되는 문항
공공기관 설문지를 보면 재려는 개념의 이름이
질문에 그대로 들어간 문항이 많다. 필요도를 알고 싶으면 “얼마나
필요하다고 생각하십니까”를 묻고, 중요도를 알고 싶으면 “얼마나 중요하다고 생각하십니까”를 묻는다. 한국행정연구원이 2014년에 공무원을 대상으로 한 생활안전관리 인식조사가
그런 예다. 이 조사표는 생활안전관리 업무에 첨단기술을 도입·활용하는
것이 얼마나 필요한지를 5점 척도로 묻고, 뒤에서 첨단기술을
활용하는 것이 얼마나 중요한지를 다시 5점 척도로 묻는다. 묻는
대상은 같고 개념 이름만 다르다.
나는 이런 문항으로는 연구자가 알고 싶은
것을 얻기 어렵다고 본다. 그런데 이 논리를 끝까지 밀고 가면 곤란한 문항이 생긴다. 만족도를 알려고 만족하는지를 묻고, 행복도를 알려고 행복했는지를
묻는 문항이다. 한국보건사회연구원의 「2025년 사회통합
실태조사」 조사표에는 다음 두 문항이 들어 있다.
문B1. 귀하는 어제 어느 정도 행복하셨습니까?
문B4. 귀하는 요즘 전반적으로 삶에 얼마나 만족하십니까?
한국보건사회연구원 「2025년 사회통합 실태조사」 조사표
행복도는 행복했느냐로, 만족도는 만족하느냐로 묻는다. 이것까지 잘못이라고 하면 OECD가 권하는 주관적 웰빙 측정 방식이 통째로 틀린 셈이 된다. 그러니
개념 이름을 질문에 넣는 것 자체가 문제는 아니다. 어떤 개념은 그렇게 물어도 되고 어떤 개념은 안
된다. 이 글은 둘을 가르는 기준을 정리한 것이다.
개념 이름을 질문에 넣는다는 것
조사 설계에서 개념을 관찰할 수 있는 응답으로
옮기는 일을 조작적 정의라고 한다. 필요도를 재려면 무엇을 물어서 어떤 응답이 나오면 필요가 크다고
볼지를 연구자가 정해야 한다. 개념 이름을 그대로 질문에 넣으면 이 일을 응답자에게 맡기게 된다. 응답자는 저마다 ‘필요’를
자기 방식으로 해석하고, 연구자는 서로 다른 해석에서 나온 응답을 한 칸에 모아 필요도라고 부른다.
응답자에게 맡기는 것이 맞는 개념도 있다. 응답자 머릿속에 있는 상태가 곧 개념인 경우다. 요즘 삶에 얼마나
만족하는지는 응답자 말고는 아는 사람이 없고, 응답자가 스스로 매긴 점수 말고 다른 정의를 세울 수도
없다. 이때는 개념 이름으로 묻는 문항이 곧 조작적 정의다. 문제는
개념이 응답자 머릿속이 아니라 연구자 쪽에 있을 때 생긴다. 연구자가 기준을 세워야 정의되는 개념이거나, 연구자가 그 숫자로 무언가를 결정하려는 개념일 때다.
필요도는 응답자가 답하는 것과 연구자가 쓰려는 것이 다르다
얼마나 필요하냐는 질문을 받은 응답자는 ‘필요’를 여러 뜻으로 읽는다. 있으면
좋다는 뜻으로 읽는 사람도 있고 없으면 곤란하다는 뜻으로 읽는 사람도 있다. 나에게 필요한지를 묻는다고
생각하는 사람이 있고, 우리 사회에 필요한지를 묻는다고 생각하는 사람이 있다. 같은 ‘매우 필요하다’에
서로 다른 뜻이 담긴다.
더 큰 문제는 질문에 비용이 없다는 점이다. 응답자는 그 사업에 돈이 얼마나 들고, 그 돈을 쓰면 무엇을 포기해야
하는지 생각하지 않고 답한다. 있어서 나쁠 것 없는 사업이면 필요하다고 답하기 쉽다. 여기에 공공사업에 ‘필요 없다’고
말하기 꺼리는 마음과, 질문 문장에 동의하는 쪽으로 기우는 응답 경향이 더해진다. 그래서 정책 필요도 문항은 대부분의 항목이 긍정 쪽에 몰리고 항목 사이 차이가 작게 나오기 쉽다. 결과보고서에는 필요하다는 응답이 많았다는 문장이 항목 수만큼 되풀이된다.
필요라는 개념이 원래 응답자 머릿속에만 있는
것도 아니다. 영국 사회정책학자 브래드쇼(Bradshaw, 1972)는
사회적 필요를 네 가지로 나눴다. 전문가나 행정가가 정한 기준에 못 미치는 상태인 규범적 필요, 당사자가 원한다고 느끼는 체감 필요, 그 느낌이 서비스 신청처럼
행동으로 드러난 표출 필요, 서비스를 받는 다른 집단과 같은 조건인데도 받지 못하는 상태인 비교 필요다. “필요하십니까”로 잴 수 있는 것은 이 가운데 체감 필요 하나이고, 그것도 비용을 따지지 않은 체감 필요다. 정책을 짜는 쪽이 알고
싶은 것은 대개 기준에 못 미치는 사람이 얼마나 되는지, 그 사람들이 지금 어떻게 지내고 있는지다.
그래서 필요도는 판단 대신 경험과 사실을
묻는 편이 낫다. 그 문제 때문에 불편을 겪은 적이 있는지, 얼마나
자주 겪는지, 지금 대신 쓰는 수단이 있는지, 거기에 돈이나
시간을 얼마나 쓰는지를 묻는다. 이렇게 물으면 필요를 ‘문제를
겪는데 마땅한 대안이 없는 상태’로 정의할 수 있고, 그
상태에 있는 사람이 전체에서 얼마나 되는지 추정할 수 있다. 겪은 일을 묻는 문항은 생각을 묻는 문항보다
응답자의 해석에 덜 흔들린다. 신청자 수나 대기자 수처럼 행정자료에 이미 쌓여 있는 표출 필요가 있다면
조사보다 그 자료를 먼저 보는 것이 맞다.
중요도는 고르지 않아도 되면 다 중요하다
중요도 문항도 같은 문제를 안고 있다. 항목마다 얼마나 중요한지를 따로 물으면 응답자는 어느 하나를 포기하지 않아도 된다. 모두 중요하다고 답해도 잃을 것이 없다. 앨윈과 크로스닉(Alwin & Krosnick, 1985)은 1980년 미국
종합사회조사(GSS) 자료로 가치를 재는 두 방식을 비교했다. 항목마다
점수를 매기는 평정 방식과 항목에 순서를 매기는 순위 방식이다. 표본 전체에서 어떤 가치를 더 중시하는지의
순서는 두 방식이 비슷했지만, 개인 차이를 재는 데서는 결과가 달랐다.
후속 연구(Krosnick & Alwin, 1988)는 평정 문항에서 응답자 일부가
어려운 선택을 피하고 모든 항목을 똑같이 높게 매긴 것을 그 원인으로 보았다. 이렇게 항목 사이에 차이를
두지 않은 응답자를 빼고 분석하자 평정 결과가 순위 결과와 비슷해졌다.
중요도를 알고 싶다면 하나를 고르면 다른
하나를 놓치게 만들어야 한다. 가장 손쉬운 방법은 순위를 묻는 것이다.
문항이 많은 설문이라면 1순위 하나만 받아도 충분하고,
2순위까지 받는다면 1순위와 1·2순위 합산
두 가지로 보면 된다. 한국보건사회연구원의 「저출산·고령사회
대응 국민 인식 및 가치관 설문조사」는 이렇게 묻는다.
문A8. 귀하는 향후 저출산 문제를 해결하기 위하여 가장 필요한 정책이 무엇이라고
생각하십니까? 우선순위가 높은 순으로 2가지를 선택하여 주십시오.
한국보건사회연구원 「저출산·고령사회 대응 국민 인식 및 가치관 설문조사」
조사표
‘필요’라는
말을 썼지만 여섯 개 보기 가운데 두 개만 고르게 했기 때문에 정책 사이의 순서를 읽을 수 있다. 같은
조사표의 문B43은 “고령자 정책과 아동 정책 중 상대적으로
더 중요한 정책은 어떤 것이라고 생각하십니까?”를 묻고, “고령자
정책이 아동 정책에 비해 훨씬 더 중요하다”부터 “아동 정책이
고령자 정책에 비해 훨씬 더 중요하다”까지 다섯 개 보기를 준다. 두
정책을 한 문항 안에서 맞세웠기 때문에 어느 쪽으로 얼마나 기우는지가 나온다.
견줄 항목이 많으면 최대차이척도(MaxDiff, best-worst scaling)를 쓸 수 있다. 항목
네다섯 개를 한 묶음으로 보여 주고 그중 가장 중요한 것과 가장 덜 중요한 것을 고르게 하는 일을, 묶음을
바꿔 가며 되풀이한다(Louviere, Flynn, & Marley, 2015). 100점이나
가상의 예산을 주고 항목에 나눠 주게 하는 고정합 방식도 있다. 어느 방식이든 응답자는 항목끼리 견주어야
답할 수 있다.
중요도를 아예 묻지 않는 방법도 있다. 항목별 만족도와 전반 만족도를 묻고, 전반 만족도를 항목별 만족도로
회귀분석해서 나온 계수나 상관계수를 중요도로 쓴다. 이를 유도 중요도(derived
importance)라고 한다. 마틸라와 제임스(Martilla
& James, 1977)가 처음 내놓은 중요도-성과 분석(IPA)은 응답자가 직접 매긴 중요도를 썼지만, 지금은 유도 중요도로 IPA를 그리는 일도 흔하다.
두 중요도는 서로 다른 것을 잰다. 직접 물은 중요도는 응답자가 의식하는 우선순위이고, 유도 중요도는
항목 점수가 오르내릴 때 전반 만족도가 얼마나 따라 움직이는지다. 그래서 두 값이 어긋나는 일이 잦다. 흔히 드는 예가 항공사의 안전이다. 직접 물으면 안전이 가장 중요하다고
나오지만, 항공사마다 안전 평가가 비슷하면 안전 점수로는 전반 만족도의 차이를 설명하지 못해 유도 중요도가
낮게 나올 수 있다. 어느 쪽이 참값이냐를 따질 일은 아니다. 두
값이 어긋나는 항목을 찾아 그 이유를 해석하면 된다.
꼭 척도 문항을 써야 한다면 비용이나 포기할
것을 문장 안에 넣는 방법이 있다. “다른 사업 예산을 줄이더라도”,
“세금이 늘어나더라도” 같은 조건을 붙이면 응답자는 그 조건을 감수할 만큼인지를 생각하고
답하게 된다.
만족도와 행복도는 왜 직접 물어도 되나
만족과 행복은 응답자 머릿속에 있는 상태
자체가 측정 대상이다. 연구자가 응답자 바깥에서 기준을 세워 만족을 정의할 길이 없다. OECD가 2013년에 낸 주관적 웰빙 측정 가이드라인도 삶의 만족을 0~10점 척도로 직접 묻는 문항을 기본 문항으로 권한다. 2025년에
나온 개정판의 기본 모듈 역시 삶 평가와 정서, 삶의 의미를 직접 묻는 문항으로 짜여 있다.
필요도·중요도와
견주면 차이가 드러난다. 필요도 문항으로 연구자가 알고 싶은 것은 예산을 어디에 먼저 쓸지인데, 응답자는 있으면 좋은지를 답한다. 만족도 문항으로 연구자가 알고
싶은 것은 응답자가 얼마나 만족하는지이고, 응답자도 그것을 답한다. 묻는
말과 알고 싶은 것이 같다.
다만 ‘여부’로 묻는 것은 다른 문제다. 만족하는지 아닌지를 예와 아니오로 자르면
정도의 차이가 사라지고, 어디서부터 만족으로 칠지를 응답자마다 다르게 정한다. 개념 이름으로 묻더라도 척도로 물어야 한다.
척도로 물어도 남는 문제가 있다. 고객만족도 자기 보고는 거의 언제나 긍정 쪽으로 기울고 분포가 높은 점수 쪽에 몰린다(Peterson & Wilson, 1992). 그래서 점수 수준 자체보다 시점 사이의 변화나 집단 사이의
차이를 읽는 편이 안전하다. 집단 비교에도 조심할 점이 있다. 만족은
성과를 기대와 견주어 내리는 판단이어서, 같은 서비스를 받아도 기대가 낮은 집단은 더 만족한다고 답할
수 있다. 밴 라이진(Van Ryzin, 2004)은 뉴욕시
시민조사 자료로 공공서비스 만족이 서비스 성과뿐 아니라 시민의 기대, 그리고 성과가 기대에서 어긋난
정도에 좌우된다는 것을 보였다. 공공서비스 만족도는 이용해 본 사람에게만 묻고, 집단끼리 비교할 때는 기대 수준이 다를 수 있다는 점을 염두에 둬야 한다.
행복은 한 문항으로 묻지 않는 편이 낫다. ‘행복’이라는 말에는 삶 전체를 돌아보는 평가와 그때그때 느끼는
감정이 섞여 있다. 그래서 주관적 웰빙 측정에서는 삶 평가와 정서를 따로 묻는다. 앞에서 본 「2025년 사회통합 실태조사」가 그렇게 짜여 있다. 문B1부터 문B3까지는
어제 얼마나 행복했는지, 걱정했는지, 우울했는지를 묻고, 문B4에서 요즘 삶에 얼마나 만족하는지를 묻는다. 문B5는 맨 아래가 최악의 삶, 꼭대기가
최상의 삶인 0~10점 사다리에서 지금 자신이 어디쯤 있는지 고르게 한다. 행복을 ‘어제 느낀 감정’으로
좁혀 물었기 때문에 삶 평가와 섞이지 않는다.
주관적 웰빙 문항은 앞에 놓인 문항에 특히
잘 흔들린다. 스트랙 등(Strack, Martin, &
Schwarz, 1988)은 대학생에게 삶 전반의 만족과 지난달 데이트 횟수를 물으면서 두 문항의 순서를 바꿔 보았다. 삶의 만족을 먼저 물었을 때 두 응답의 상관계수는 -0.12였는데, 데이트 횟수를 먼저 묻자 0.66으로 올라갔다. 앞 문항이 떠올리게 한 내용이 삶 전체를 평가하는 판단에 끼어든 것이다.
OECD 가이드라인이 주관적 웰빙 문항을 대상자 확인 문항과 가구·인구 문항 바로 뒤, 설문의 되도록 앞쪽에 두라고 권하는 것도 이 때문이다.
네 가지 물음으로 가르기
개념 이름으로 직접 물어도 되는지는 다음
네 가지 물음으로 가를 수 있다.
1. 응답자가 답을
스스로 알 수 있는가
지금 느끼는 감정이나 지금 내리는 평가는
본인이 가장 잘 안다. 반면 자신이 왜 그렇게 행동했는지, 무엇에
영향을 받았는지는 본인도 잘 모른다. 니스벳과 윌슨(Nisbett
& Wilson, 1977)이 소개한 실험에서 똑같은 스타킹 네 켤레를 나란히 놓고 고르게 하자, 오른쪽 끝에 놓인 것이 왼쪽 끝 것보다 네 배쯤 많이 선택됐다. 고른
이유를 물었을 때 위치를 말한 사람은 없었고, 위치 때문일 수 있느냐고 묻자 거의 모두 아니라고 했다. 구매 이유나 광고 효과를 응답자에게 직접 묻는 문항을 믿기 어려운 까닭이다.
앞으로 할 행동도 마찬가지다. 이용 의향은 실제 이용보다 높게 나오기 쉽다. 의도와 행동 사이의 간격은 주로 하겠다고 답해 놓고 하지 않는 사람들에게서 생긴다(Sheeran, 2002).
2. 연구자가 그
숫자로 하려는 일과 응답자가 답하는 내용이 같은가
만족도는 같고 필요도와 중요도는 다르다. 연구자는 순서를 정해 자원을 나누려 하는데, 응답자는 비용을 생각하지
않고 좋은지 나쁜지를 답한다. 이 물음에 걸리는 개념은 응답자가 고르게 만들거나 다른 문항에서 통계적으로
끌어내야 한다.
3. 연구자가 기준을
세워야 정의되는 개념인가
필요, 빈곤, 주거 취약, 디지털 역량처럼 바깥 기준이 있어야 성립하는 개념은
그 이름으로 물어서는 안 된다. 스스로 가난하다고 느끼는지 물어서 빈곤율을 낼 수는 없다. 그렇게 물은 결과는 주관적 빈곤이라는 다른 지표가 된다. 이런 개념은
구성 요소를 사실 문항으로 묻고 연구자가 정한 기준으로 합쳐야 한다.
4. 솔직하게 답해도
부담이 없는가
사회적으로 바람직한 답이 정해져 있는 질문은
직접 물으면 응답이 그쪽으로 기운다. 투표 여부가 대표적이다. 선거
뒤 조사에서 투표했다고 답한 비율은 실제 투표율보다 높게 나온다. 미국 선거연구(ANES)는 투표 여부를 예와 아니오로 묻지 않고 다음 네 보기 가운데 고르게 한다.
① 이번 선거에서 투표하지 않았다
② 이번에 투표할 생각은 했지만 하지 않았다
③ 평소에는 투표하지만 이번에는 하지 않았다
④ 확실히 투표했다
ANES 2024 Time Series Study 사후조사 투표
여부 문항의 보기(필자 번역)
투표하지 않은 사람이 체면을 지키면서 답할
수 있게 만든 보기다. 더프 등(Duff et al., 2007)은 2002년 ANES에서 이 문항을 기존 문항과 비교해 투표 과대 보고가 8%포인트쯤 줄어드는 것을 확인했다.
민감한 태도를 물을 때는 리스트 실험 같은
간접 방식을 쓴다. 응답자를 무작위로 둘로 나눠 한쪽에는 일반 항목 몇 개를, 다른 쪽에는 같은 항목에 민감한 항목 하나를 더해 보여 준다. 응답자는
어느 항목에 해당하는지 밝히지 않고 해당하는 항목이 몇 개인지만 답한다. 두 집단의 평균 개수 차이가
민감한 항목에 해당하는 사람의 비율이 된다. 직접 묻는 조사들은 미국 남부 백인의 인종 태도가 다른
지역과 비슷해졌다고 보여 왔는데, 쿠클린스키 등(Kuklinski,
Cobb, & Gilens, 1997)은 리스트 실험으로 남부의 인종 편견이 여전히 높고 다른 지역보다 뚜렷하게 높다는 것을
보였다.
네 가지 물음을 개념별로 적용하면 표 1과 같다. 네 칸이 모두 ○인
개념만 그 이름으로 직접 물어도 된다.
표 1. 개념별로
본 직접 질문 가능 여부
|
개념 |
① 응답자가 아는가 |
② 쓰임과 같은가 |
③ 기준 없이 정의되나 |
④ 부담 없이 답하나 |
대신 쓸 방법 |
|
삶의 만족 |
○ |
○ |
○ |
○ |
0~10점 척도로 직접, 설문 앞쪽에 배치 |
|
어제의 정서(행복·걱정·우울) |
○ |
○ |
○ |
○ |
어제 하루로 좁혀 감정별로 따로 |
|
공공서비스 만족 |
○ |
○ |
○ |
○ |
이용자에게만, 척도로 |
|
필요도 |
○ |
× |
× |
○ |
문제 경험·빈도·대안 유무, 행정자료 |
|
중요도 |
○ |
× |
○ |
○ |
순위, 맞비교, MaxDiff, 유도
중요도 |
|
이용 의향 |
× |
× |
○ |
○ |
과거 이용 경험, 비슷한 서비스 이용 실적 |
|
선택 이유·광고 효과 |
× |
× |
○ |
○ |
노출이나 배치를 무작위로 바꾸는 실험 |
|
투표 여부 |
○ |
○ |
○ |
× |
체면을 살리는 보기, 투표 기록 대조 |
|
민감한 태도 |
○ |
○ |
○ |
× |
리스트 실험 |
○는 그렇다, ×는 그렇지 않다는 뜻이다. ②는 연구자가 그 숫자로 하려는 일과 응답자가 답하는 내용이 같은지, ③은
연구자가 바깥 기준을 세우지 않아도 정의되는지를 본다.
문항을 쓰기 전에
문항 초안을 쓰기 전에 그 숫자를 받아서
무엇을 할지 한 줄로 적어 보면 어느 쪽인지 대개 드러난다. 사람들이 지금 어떤 상태인지 알고 싶다면
개념 이름으로 직접 묻되 척도로 물으면 된다. 사업의 순서를 정하려면 응답자가 고르게 해야 한다. 지원 대상이 몇 명인지 세려면 겪은 일을 물어야 하고, 앞으로 이용할
사람을 내다보려면 지금까지 이용한 경험을 물어야 한다.
조사 항목표에 ‘필요 여부’, ‘중요 여부’라고
적혀 있다면 그 항목은 아직 설계가 덜 끝난 것이다. 무엇을 재려는지 연구자가 아직 정하지 않았다는
뜻이다.
참고문헌
한국보건사회연구원 (2025). 「2025년
사회통합 실태조사」 조사표.
한국보건사회연구원. 「저출산·고령사회
대응 국민 인식 및 가치관 설문조사」 조사표.
한국행정연구원 (2014). 「생활안전관리 목적의 첨단기술 활용에 대한 공무원
인식조사」 조사표. 한국사회과학데이터센터(KOSSDA) 자료번호 A1-2014-0206.
Alwin, D. F., & Krosnick, J. A. (1985). The measurement of
values in surveys: A comparison of ratings and rankings. Public Opinion
Quarterly, 49(4), 535–552.
American National Election Studies. ANES 2024 Time Series Study,
Full Release. Codebook, V242065POST.
Bradshaw, J. (1972). A taxonomy of social need. In G. McLachlan
(Ed.), Problems and progress in medical care: Essays on current research (7th
series, pp. 71–82). Oxford University Press.
Duff, B., Hanmer, M. J., Park, W.-H., & White, I. K. (2007).
Good excuses: Understanding who votes with an improved turnout question. Public
Opinion Quarterly, 71(1), 67–90.
Krosnick, J. A., & Alwin, D. F. (1988). A test of the
form-resistant correlation hypothesis: Ratings, rankings, and the measurement
of values. Public Opinion Quarterly, 52(4), 526–538.
Kuklinski, J. H., Cobb, M. D., & Gilens, M. (1997). Racial
attitudes and the “New South”. Journal of Politics, 59(2), 323–349.
Louviere, J. J., Flynn, T. N., & Marley, A. A. J. (2015).
Best-worst scaling: Theory, methods and applications. Cambridge University
Press.
Martilla, J. A., & James, J. C. (1977).
Importance-performance analysis. Journal of Marketing, 41(1), 77–79.
Nisbett, R. E., & Wilson, T. D. (1977). Telling more than we
can know: Verbal reports on mental processes. Psychological Review, 84(3),
231–259.
OECD (2013). OECD guidelines on measuring subjective well-being.
OECD Publishing.
OECD (2025). OECD guidelines on measuring subjective well-being:
2025 update. OECD Publishing.
Peterson, R. A., & Wilson, W. R. (1992). Measuring customer
satisfaction: Fact and artifact. Journal of the Academy of Marketing Science,
20(1), 61–71.
Sheeran, P. (2002). Intention–behavior relations: A conceptual
and empirical review. European Review of Social Psychology, 12(1), 1–36.
Strack, F., Martin, L. L., & Schwarz, N. (1988). Priming and
communication: Social determinants of information use in judgments of life
satisfaction. European Journal of Social Psychology, 18(5), 429–442.
Van Ryzin, G. G. (2004). Expectations, performance, and citizen
satisfaction with urban services. Journal of Policy Analysis and Management,
23(3), 433–448.