[매소드 시각화] 4점 척도 문항 그래프 그리기

 우리나라는 이상하게 4점 척도를 참 많이 쓴다. 찬성한다-반대한다 이렇게 안하고 거의 매우 찬성한다-대체로 찬성한다-대체로 반대한다-매우 반대한다 이런 식으로 척도를 만든다. 사실 매우 찬성한다는 비율을 활용할게 아니라면 굳이 이렇게 묻지 않아도 되지만...여하튼 오늘은 그걸 얘기하자는 건 아니고...이렇게 쓴 4점 척도의 그래프를 어떻게 그릴지 고민해보자는 것이다.

 우선 아래와 같이 그래프를 그릴 수 있다. 각각의 척도 비율과 함께 찬성이나 반대 합 비율까지 보여줄 수 있어 아래 방식은 많이 활용되고 있다. 그러나 이 그래프는 치명적인 단점이 있다. 바로 합 비율 즉 찬성과 반대 비율이 숫자로만 나와 있어 그 두 수치간 차이를 쉽게 알 수 없다는 것이다.

 그래서 필자는 위 그래프의 단점을 보완하기 위해 아래와 같은 방식의 그래프를 자주 활용한다. 물론 바 그래프가 세워져 있는 세로 막대보다는 누워있는 가로 막대를 더 선호한다. 뭐 이유는 가로 막대가 조금 더 안정적인 느낌이기도 하고, 수치를 확인하기가 더 편하기 때문이다.

 그래프는 서베이 결과를 보여주는 가장 기본적인 방식 중 하나이다. 중요한 것은 그냥 수치를 보여주는 것에 비해 그래프로 보여주는게 최소한 이용자에게 편해야한다. 개인마다 선호가 있겠지만 이런 측면에서 4점 척도 최적의 그래프를 소개했다고 생각한다. 더 좋은게 있으면 언제든지 소개해주셨으면 한다.

할당조사에서 Cell vs Rim?

 우리나라 조사회사들은 할당조사 시 지역*성*연령별 교차표를 만들어 이를 할당표라고 지칭하고, 그 표에 맞게 조사하고, 그게 안되면(100% 교차표대로 조사하지 못하면) 표에 맞게 가중치를 부여해왔다. 일명 셀할당과 셀가중치를 부여한 것이다.

 백문이 불여일견이니 2018년 12월 주민등록인구통계를 기반으로 17개 시도, 남녀, 5개 연령대로 구분하여 셀 할당표를 작성하면 아래와 같다. 셀이라고 하는 것이 숫자가 있는 한 칸을 의미하고 이렇게 짜면 총 170개의 칸 즉 셀이 생긴다.

 반면에 림 할당표는 이와는 다르게 변인별로 할당표를 작성한다. 직접 할당표를 보여주면 아래와 같다. 셀할당표와는 다르게 교차가 아닌 각 변인별로 독립적으로 할당표를 만든다. 24개의 칸 즉 셀이 만들어지니 위의 170개 셀과는 엄청난 차이임을 알 수 있다.

 위 두개 표를 딱 봐도 셀할당표대로 조사하는 것이 훨씬 어렵겠다는 것이 느껴질 것이다. 실제 조사 과정에서도 예를 들면 세종시 30대 여자 1명을 찾기 위해서 엄청난 노력을 한다. 반면 림할당은 그에 비하면 조금 느슨하다. 그렇다고 림할당이 쉬운 것만은 아니다. 어차피 3개 변인별 할당을 동시에 충족시켜야하기 때문이다. 그럼에도 불구하고 셀할당보다는 실사 과정에서 조금 숨통이 트이는 건 사실이다.

 사실 전화조사나 대면면접조사에서 응답 대상자를 상대적으로 쉽게 조사할 수 있을 때에는 셀할당이 크게 문제가 되지 않았다. 오히려 더 촘촘하게 조사한다는 자부심(?)도 있었다. 그러나 지금처럼 조사가 정말 안되는 상황에서 리서처가 과거와 같은 셀 할당을 고집한다는 건 실사에서 일하는 분들에게 가혹한 기준이 될 수 있다.

 이런 점을 고려할 때 셀 할당의 환상을 거둘 필요가 있다. 현실적으로 림 할당도 전부 맞추기 어렵다는 점에서 림 할당으로 조사하는 것이 맞다고 본다. 또 하나는 셀 할당을 신(?)처럼 모시다보니 지역/성/연령 이외의 변인을 추가 할당 변인으로 감히 모셔오지 못했다. 그러나 림할당을 도입한다면 지역, 성, 연령 외에 조사 주제별로 주요한 할당 변인, 예를 들면 학력, 가구원수 등을 추가 변인으로 추가하는 것이 가능하다.

 할당도 시대에 따라 변할 필요가 있다.  

단언컨데 웹조사에서 디바이스 효과(Smartphones, Tablets, Laptop, PC)는 없습니다.

 웹조사는 초창기에 당연히 PC로만 했다. 뭐 테블릿이나 스마트폰이 없었으니까. 그러나 세월이 흐르면서 테블릿이나 스마트폰으로 웹조사를 하는 비율이 많아졌다. 그러면서 나온 의문은 당연히 작은 화면으로 하는데도 응답의 질에 문제가 없을까였다. 특히나 나이가 많은 리서처들이 이런 걱정을 더 많이 한 것 같다(이건 전적으로 내 생각).

 지금 소개하는 논문 역시 이에 대한 의문증에서 시작한 것이다. 이 논문의 차별성은 여러 나라의 여러 웹조사 데이터를 가지고 증명했다는 것이다. 더불어 선택 바이어스를 최소화라기 위해 모드 선택을 응답자가 하지 않았다고 한다.

 논문의 결론은 모드 효과에 대해서는 안심해도 된다는 거다. 진짜 걱정하지 말자. 응답자들을 믿자.

우리나라 폴(poll) 시장에서 '전화면접조사'는 살아남을 수 있을까?

 우리가 흔히 이야기하는 여론조사에는 두 종류가 있다. 하나는 폴(poll)이고 하나는 서베이(survey)이다. 사실 두 단어 자체의 차이는 없다. 그러나 시간이 흐르면서 자연스럽게 퀵하게 태도 정도를 확인하기 위한 조사는 폴, 학계나 통계청 등에서 행위, 태도, 신념 등 다양한 문항을 확인하기 위한 조사는 서베이로 간주되고 있다.

 우리나라에서 폴이 서베이와 분리되어 인식된 것은 전화면접조사의 시작과 궤를 같이 한다. 대면면접조사에 비해 비용이나 시간을 훨씬 덜 들여 조사할 수 있는 전화면접조사의 등장은 주로 서베이에 머물던 여론조사 시장에서 폴이 확장되는 계기를 마련한 것이다. 예전 같으면 어림도 없었던 한 두 문항 여론조사도 등장했다. 아무튼 폴은 전화면접조사와 함께 계속 성장해왔다. 거기에 ARS 조사의 등장으로 전화면접과 함께 전화조사 시장의 성장이 가파랐다.

 그러나 최근 전화면접조사는 하락세를 걷고 있다. 전화조사 내부에서는 ARS 조사에 밀리고, 웹조사라는 새로운 모드 등장에 그 하락세는 지속될 것으로 보인다. 이유는 자명하다. 비용의 문제이다. 전화면접조사는 필연적으로 면접원이 필요한데 응답율 하락(전화를 아예 받지 않는 문제, 받아도 상당수가 조사를 거절하는 문제)으로 면접원에게 줘야하는 수당이 자꾸 늘어나는 것이다. 문제는 이러한 응답율 하락이 더욱 심각해질 것이라는 점이다.

 그렇다면 향후 폴 시장에서 전화면접조사는 살아남을 수 있을까? 내 생각으로는 힘들어 보인다. 그 근거를 몇 가지로 정리해보면 다음과 같다.

 1. 전화면접조사와 ARS조사의 직접비 차이가 계속 벌어질 것이다.

    (전화면접조사의 직접비는 상승 대비 ARS조사 직접비 상승은 크지 않을 것)

 2. 스팸차단기술 발달로 조사회사에서 거는 전화를 안받는 사람들이 계속 늘어날 것이다.

 3. 스마트폰 웹조사 시장이 성장할 것이다

 이런 이유로 폴 시장은 ARS조사와 웹조사가 양분하는 시장으로 바뀔 가능성이 크다.

표 스타일 설문(grid-style questions) 척도 방향 효과는?

 한 번에 많은 항목을 물으면서도 문항이 많아 보이지 않게하는 마법(?)과도 같은 표 스타일 설문(grid-style questions)은 어느 조사방법에서나 많이 활용된다. 그러나 표 스타일의 설문은 대충 응답하는 경향이 있어 바이어스가 많다는 연구가 많다. 이번에 소개하는 논문 역시 그런 연구 중 하나다. 차별점이라면 이 연구는 척도 방향에 따른 영향에 대한 것이다. 즉 표 스타일 설문에서 척도를 긍정에서 부정순으로 하느냐 아니면 반대로 부정에서 긍정순으로 하느냐에 따라 결과가 상이할 수 있다는 것이다. 그 외에도 스피더(아마 응답을 빨리하는 응답자인 것 같음) 응답자가 비스피더 응답자에 비해 바이어스가 더 나타난다고 한다.

 이래저래 저래이래 표 스타일의 설문은 아닌 것 같습니다.

 

아직도 일반국민 여론조사 시 지역, 성, 연령 비율만 확인하십니까?

 할당조사에서 지역(17개 시도), 성(남녀), 연령대(19-29세, 30대, 40대, 50대, 60세 이상)는 필수적인 변인으로 자리매김했다. 이 세 변수를 크로스한 할당표를 얼마나 잘 지켰는가는 조사의 정확성에 잣대가 되고 있다. 그러나 우리가 살펴봐야 할 변인이 이것 뿐이겠는가? 그럼에도 불구하고 다른 사회경제적 변인의 경우 모집단 비율을 확실히 추정할 수 없다는 주장에 밀려 검토조차 되지 못한게 사실이다.

 그래서 준비해봤다. 다양한 사회경제적 변인의 모집단 비율을...참고로 아래에 소개한 비율은 2017년 통계청 사회조사 원자료를 근거로 산출한 결과이다. 사회조사 자체가 센서스가 아니므로 완전한 모집단이라고 하기 어렵지만 그래도 현재 상황에서 구할 수 있는 가장 좋은 자료라고 생각한다. 12월 말이면 2018년 사회조사 원자료가 공개된다고 하니 그 때는 더 최신 자료로 업데이트 하겠다.

  

웹조사 설문 작성 11가지 꿀팁

 고객들이 보내준 수많은 설문 초안을 검토하면서 느낀 웹조사 설문 작성 팀 몇 가지를 소개하고자 한다.

1. 질문(stem) 보다는 보기(option)에 신경써라
 조사를 하는 응답자들의 최종 목적은 얼른 조사를 마치는 것이다. 이런 생각은 보기에서 어떤 곳에 클릭을 할지 몰두하게 만든다. 그러므로 보기에 충분한 정보를 주는 것이 좋다.

2. 비교 평가가 아닌 이상 평가 문항에서는 중간 척도를 최소화해라
 과거 보다 좋아졌는지 등 비교 평가는 당연히 변화없다나 비슷하다와 같은 중간 척도가 필요하지만 그 외에 평가 문항에서는 보통이다 등의 중간 척도를 가급적 쓰지 않는 것이 좋다.

3. 척도 수를 가급적 줄여라
 이론적으로 2점 척도(예-아니오, 만족한다-만족하지 않는다 등)면 대부분 충분하다. 척도 수를 최소화할수록 응답자의 부담은 훨씬 줄어들고 그에 따라 문항에 더 집중할 수 있다.

4. 척도 구성시 바이폴라보다는 유니폴라를 활용해라
 만족한다-불만족한다 보다는 만족한다-만족하지 않는다가 더 명확하다. 만족한다-불만족한다를 꼭 쓰고 싶다면 반드시 만족도 불만족도 아니다 라는 중간 척도가 필요하다.

5. 진술형 문항에 얼마나 동의하는지 문항은 가급적 피해라
 흔히 '----에 대해 긍정적 영향을 주었다'에 얼마나 동의하는지 묻는 문항을 많이 만드는데, 이건 응답자들을 너무 한 방향으로 몰아갈 위험이 크다. 그 보다는 '---에 어떤 영향을 주었는지'로 묻고 보기에 긍정적 영향을 주었는지 여부를 묻는게 맞다. 특히나 '----애 대해 부정적 영향을 주었다'에 동의여부를 묻는 것은 더 최악이다.

6. 7점 척도가 넘어가면 '클릭 방식'보다는 '스크롤 방식'으로 웹설문을 구성해라
 7점 척도까지는 일반적으로 해당 척도에 클릭하는 방식의 조사가 가능하지만 10점이 넘어가서 10점, 11점, 100점 척도를 사용해야한다면  그보다는 스크롤하여 해당 점수나 구간에 멈추게 하는 방식은 스크롤 방식이 응답 바이어스를 최소화할 수 있다.

7. 특별한 경우가 아니라면 '모르겠다'는 보기를 넣어라
 웹설문에 모르겠다를 넣으면 모르겠다 비율이 높게 나오지 않을까 걱정하는 사람들이 많은데 문항이 어렵지 않다면 그 비율이 3%를 넘는 경우는 거의 없다. 단 모르겠다는 다른 척도와 공간적으로든 색으로든 구별하는 것이 좋다.

8. 해당 정보를 설명하기 보다는 이를 문항 형태로 만들어라
 다시 한번 말하지만 응답자들은 문항을 풀고 싶어하지 다른 일(설명문 보기, 동영상 보기 등)은 최소화해서 하려고 한다. 그러므로 정보를 제공해야한다면 이를 퀴즈 형식으로 문항으로 만들어서 구성하는 것이 응답자의 몰입을 높이는데 있어 좋다.

9. 응답자 사례비(리워드)는 최대한으로 책정해라
 웹조사의 경우 문항 길이에 따라 응답자 사례비를 책정한다. 보통 1분에 100원 정도라고 보면 된다. 20분 분량이면 2000원 정도의 사례비가 필요하다고 보면 된다. 물론 이것은 최소한의 사례비이다. 가급적이면 이보다 1.5배 정도 더 책정하는 것이 좋다. 사례비에 따라 응답자 성실도가 다르기 때문이다.

10. 질문을 '한' 가지만 해라
 질문 작성자들은 대부분 본인들은 당연히 한가지 질문만 한다고 생각한다. 그러나 그렇지 않은 질문들이 너무 많다. 예를 들어 '귀하께서는 클래식을 들으면 마음이 평온해지고 안정감을 느끼십니까?'와 같은 질문이 있다고 해보자. 주변에 이런 류의 설문이 참 많은데 이 경우 마음이 평온해졌다와 마음에 안정감을 느꼈다는 분리하여 묻거나 둘 중 하나만 선택해서 묻는 것이 좋다.

11. 스마트폰에서 응답 가능한 포맷으로 질문을 만들어라
 요새 사람들은 스마트폰으로 안되는 건 하지 않는다. 서베이도 마찬가지다. 설문지를 작성할 때 스마트폰 화면에서 구현 가능한 문항으로 작성해야한다. 저희 설문은 어려운데...그런 거 없다. 잘 생각하면 다 된다. 이렇게 까지 오버해서 얘기하는 건 이게 정말 중요하기 때문이다.