표 스타일 설문(grid-style questions) 척도 방향 효과는?

 한 번에 많은 항목을 물으면서도 문항이 많아 보이지 않게하는 마법(?)과도 같은 표 스타일 설문(grid-style questions)은 어느 조사방법에서나 많이 활용된다. 그러나 표 스타일의 설문은 대충 응답하는 경향이 있어 바이어스가 많다는 연구가 많다. 이번에 소개하는 논문 역시 그런 연구 중 하나다. 차별점이라면 이 연구는 척도 방향에 따른 영향에 대한 것이다. 즉 표 스타일 설문에서 척도를 긍정에서 부정순으로 하느냐 아니면 반대로 부정에서 긍정순으로 하느냐에 따라 결과가 상이할 수 있다는 것이다. 그 외에도 스피더(아마 응답을 빨리하는 응답자인 것 같음) 응답자가 비스피더 응답자에 비해 바이어스가 더 나타난다고 한다.

 이래저래 저래이래 표 스타일의 설문은 아닌 것 같습니다.

 

아직도 일반국민 여론조사 시 지역, 성, 연령 비율만 확인하십니까?

 할당조사에서 지역(17개 시도), 성(남녀), 연령대(19-29세, 30대, 40대, 50대, 60세 이상)는 필수적인 변인으로 자리매김했다. 이 세 변수를 크로스한 할당표를 얼마나 잘 지켰는가는 조사의 정확성에 잣대가 되고 있다. 그러나 우리가 살펴봐야 할 변인이 이것 뿐이겠는가? 그럼에도 불구하고 다른 사회경제적 변인의 경우 모집단 비율을 확실히 추정할 수 없다는 주장에 밀려 검토조차 되지 못한게 사실이다.

 그래서 준비해봤다. 다양한 사회경제적 변인의 모집단 비율을...참고로 아래에 소개한 비율은 2017년 통계청 사회조사 원자료를 근거로 산출한 결과이다. 사회조사 자체가 센서스가 아니므로 완전한 모집단이라고 하기 어렵지만 그래도 현재 상황에서 구할 수 있는 가장 좋은 자료라고 생각한다. 12월 말이면 2018년 사회조사 원자료가 공개된다고 하니 그 때는 더 최신 자료로 업데이트 하겠다.

  

웹조사 설문 작성 11가지 꿀팁

 고객들이 보내준 수많은 설문 초안을 검토하면서 느낀 웹조사 설문 작성 팀 몇 가지를 소개하고자 한다.

1. 질문(stem) 보다는 보기(option)에 신경써라
 조사를 하는 응답자들의 최종 목적은 얼른 조사를 마치는 것이다. 이런 생각은 보기에서 어떤 곳에 클릭을 할지 몰두하게 만든다. 그러므로 보기에 충분한 정보를 주는 것이 좋다.

2. 비교 평가가 아닌 이상 평가 문항에서는 중간 척도를 최소화해라
 과거 보다 좋아졌는지 등 비교 평가는 당연히 변화없다나 비슷하다와 같은 중간 척도가 필요하지만 그 외에 평가 문항에서는 보통이다 등의 중간 척도를 가급적 쓰지 않는 것이 좋다.

3. 척도 수를 가급적 줄여라
 이론적으로 2점 척도(예-아니오, 만족한다-만족하지 않는다 등)면 대부분 충분하다. 척도 수를 최소화할수록 응답자의 부담은 훨씬 줄어들고 그에 따라 문항에 더 집중할 수 있다.

4. 척도 구성시 바이폴라보다는 유니폴라를 활용해라
 만족한다-불만족한다 보다는 만족한다-만족하지 않는다가 더 명확하다. 만족한다-불만족한다를 꼭 쓰고 싶다면 반드시 만족도 불만족도 아니다 라는 중간 척도가 필요하다.

5. 진술형 문항에 얼마나 동의하는지 문항은 가급적 피해라
 흔히 '----에 대해 긍정적 영향을 주었다'에 얼마나 동의하는지 묻는 문항을 많이 만드는데, 이건 응답자들을 너무 한 방향으로 몰아갈 위험이 크다. 그 보다는 '---에 어떤 영향을 주었는지'로 묻고 보기에 긍정적 영향을 주었는지 여부를 묻는게 맞다. 특히나 '----애 대해 부정적 영향을 주었다'에 동의여부를 묻는 것은 더 최악이다.

6. 7점 척도가 넘어가면 '클릭 방식'보다는 '스크롤 방식'으로 웹설문을 구성해라
 7점 척도까지는 일반적으로 해당 척도에 클릭하는 방식의 조사가 가능하지만 10점이 넘어가서 10점, 11점, 100점 척도를 사용해야한다면  그보다는 스크롤하여 해당 점수나 구간에 멈추게 하는 방식은 스크롤 방식이 응답 바이어스를 최소화할 수 있다.

7. 특별한 경우가 아니라면 '모르겠다'는 보기를 넣어라
 웹설문에 모르겠다를 넣으면 모르겠다 비율이 높게 나오지 않을까 걱정하는 사람들이 많은데 문항이 어렵지 않다면 그 비율이 3%를 넘는 경우는 거의 없다. 단 모르겠다는 다른 척도와 공간적으로든 색으로든 구별하는 것이 좋다.

8. 해당 정보를 설명하기 보다는 이를 문항 형태로 만들어라
 다시 한번 말하지만 응답자들은 문항을 풀고 싶어하지 다른 일(설명문 보기, 동영상 보기 등)은 최소화해서 하려고 한다. 그러므로 정보를 제공해야한다면 이를 퀴즈 형식으로 문항으로 만들어서 구성하는 것이 응답자의 몰입을 높이는데 있어 좋다.

9. 응답자 사례비(리워드)는 최대한으로 책정해라
 웹조사의 경우 문항 길이에 따라 응답자 사례비를 책정한다. 보통 1분에 100원 정도라고 보면 된다. 20분 분량이면 2000원 정도의 사례비가 필요하다고 보면 된다. 물론 이것은 최소한의 사례비이다. 가급적이면 이보다 1.5배 정도 더 책정하는 것이 좋다. 사례비에 따라 응답자 성실도가 다르기 때문이다.

10. 질문을 '한' 가지만 해라
 질문 작성자들은 대부분 본인들은 당연히 한가지 질문만 한다고 생각한다. 그러나 그렇지 않은 질문들이 너무 많다. 예를 들어 '귀하께서는 클래식을 들으면 마음이 평온해지고 안정감을 느끼십니까?'와 같은 질문이 있다고 해보자. 주변에 이런 류의 설문이 참 많은데 이 경우 마음이 평온해졌다와 마음에 안정감을 느꼈다는 분리하여 묻거나 둘 중 하나만 선택해서 묻는 것이 좋다.

11. 스마트폰에서 응답 가능한 포맷으로 질문을 만들어라
 요새 사람들은 스마트폰으로 안되는 건 하지 않는다. 서베이도 마찬가지다. 설문지를 작성할 때 스마트폰 화면에서 구현 가능한 문항으로 작성해야한다. 저희 설문은 어려운데...그런 거 없다. 잘 생각하면 다 된다. 이렇게 까지 오버해서 얘기하는 건 이게 정말 중요하기 때문이다.

[엉뚱생각] 카카오가 웹조사 시장에 뛰어들어 일명 '카카오서베이'를 만들면?

 카카오가 웹조사 시장에 뛰어들어 일명 카카오서베이를 만들면 웹조사 시장 아니 서베이조사 시장에 어떤 영향을 미칠까? 좋은 조사를 위해 카카오가 조사업계에 발을 들여한다고 5년전부터 주장했던 나의 생각을 한 번 풀어보려고 한다.
(참고로 카카오폴은 이미 카카오가 만들었던 서비스로 이건 서베이 앱은 아니고 일명 투표앱이었다)

 결론적으로 말하면 일명 카카오폴은 웹조사계의 끝판왕이 될 것이다. 조사 이론 측면에서 그 이유는 다음과 같다.

1. 국내 스마트폰 메시지 앱 점유율 시장 1위가 카카오톡이다. 즉 표집틀 측면에서 커버리지가 이보다 좋을 수 없다.

2. 문자나 이메일 대비 도달률(조사 요청 메시지를 볼 확률)이 훨씬 좋을 것이다. 서베이 측면에서 응답률을 올릴 수 있다. 거기에 응답 직후 카카오페이, 선물하기 등을 기존 시스템을 통해 바로 리워드를 제공할 수 있다. 이 역시 응답율 제고에 큰 도움을 줄 것이다.

3. 웹조사 설문 레이아웃 등 UI에 있어 상당한 강점이 있다. (카카오뱅크를 보면 안다) 설문 UI의 발달은 응답 바이어스를 줄일 수 있다. UI의 간편성은 설문을 만드는(입력하는) 사람 즉 조사를 의뢰하는 사람에게도 도움을 줄 것이다.

4. 카카오의 시스템을 통해 지나치게 많이 참여한 사람(일명 알바 혹은 꾼)에게는 조사 요청이 가지 않도록 할 수 있다. 이는 선택편향의 최소화에 도움을 줄 것이다. 이론적으로는 카카오(좁혀서 카카오폴) 가입자 정보를 이용한 층화랜덤추출도 가능할 것이다.

ARS와 전화면접 방식의 차이 어떻게 이해해야할까?

심심하면 나오는 ARS와 전화면접간의 결과 차이 기사...매번 나오지만 결론은 비슷하다. 결국 조사방식의 차이가 문제라는 것이다. 근데 이런 기사는 결국 돈을 덜 들이고 조사한 ARS조사에 이득이 될 수 밖에 없다. 그래서 조금 더 분석적으로 접근해보겠다.

할당조사에서 정확성(대표성)은 다음 세 가지 기준을 얼마나 지키느냐에 달려있다.

1. sampling frame
2. self-selecting sample
3. convenience sample

우선 1번 문제는 ARS나 전화면접조사나 유무선 RDD를 활용하니 별 차이가 없다고 본다.

다음으로 self-selecting sample 문제인데 ARS가 전화면접조사에 비해 훨씬 많은 사람들에게 컨택을 하기 때문에(협조율이 ARS가 더 낮으므로) 이 문제에 상대적으로 취약할 가능성이 크다.

마지막으로 convenience sample 문제는 보통 면접원의 편의에 의해 발생한다는 점에서 전화면접조사가 ARS에 비해 취약할 수 있다.

핵심은 2번 self-selecting sample과 3번 convenience sample 문제가 얼마나 바이어스가 발생하여 조사에 영향을 미치는지이다.

내 생각엔 2번 self-selecting sample 영향으로 한국당의 지지율 차이가 발생하는 것 같다. 물론 3번 convenience sample 문제가 전혀 없는 건 아니지만 전화면접은 대면면접에 비해 면접원의 편의 바이어스가 상대적으로 적기 때문이다.
(전화면접실에는 감청도 하고 수퍼바이저가 실시간으로 전화면접원을 감시하는 체제이므로 면접원이 무작정 편하게 응답자를 선정하기 쉽지 않다)

이 문제 외에도 ARS 업체에서 지속적으로 주장하는 일종의 면접원에 의한 '샤이' 바이어스도 있을 수 있다. 그러나 그것은 근본적이라기 보다는 부차적이라고 본다.

패널대상 웹조사에서 뭔가 가지고 있는지 혹은 해본적 있는지 먼저 물어보면 안되는 이유

 웹조사는 다른 조사와 달리 조사에 정기적으로 참여하는 패널들을 대상으로 조사를 하는 것이 일반적이다. 그러나 보니 이들은 조사를 일종의 게임과 같이 생각하는 경향이 있는 것 같다. 그래서 초반에 조사 대상에서 제외되는 것에 대해 매우 싫어한다. 그래서 가급적 조사 대상에서 제외되지 않게 하기 위해 뭔가를 가지고 있냐고 물어보면 그렇다고 하고, 뭔가를 해본적이 있냐고 하면 그렇다고 답할 경향성이 높다. 일종의 거짓말을 하는 것이다.

 예를 들어 최근 한달간 홍삼을 먹어본 적 있냐고 물어보면 패널들은 이 조사는 홍삼을 먹어본 사람들에게 뭔가를 물어보겠구나 하고 먹어봤다고 거짓말을 할 개연성이 크다. 지난 한 달간 책을 읽었냐는 질문도 마찬가지일 것이다.

 그렇다면 이런 바이어스를 어떻게 막아야할까?

 우선, 보유나 행태를 묻는 질문을 가급적 맨 앞에 배치하는 것을 피해야한다.

 다음으로, 보유나 행태를 묻는 질문에 노우라고 답해도 질문은 계속되고 인센티브도 동일하게 준다는 사실을 강조해서 알려야한다.

 마지막으로, 행태나 보유 문항을 질문할 때 다른 항목들을 복수로 물어 패널들이 조사 의도를 파악하지 못하도록 일종의 페이크를 써야한다. 예를 들면 홍삼 복용 경험을 묻고 싶으면 비타민 등 다른 건강식품의 복용여부까지 같이 물어 물타기(?)를 하는 것이 좋다.   

웹조사 요청 메시지를 어떻게 쓰면 응답률을 올릴 수 있을까?

 웹조사는 패널에게 웹조사에 들어갈 수 있는 url이 포함된 조사 요청을 보낸다. 그걸 이메일로 보낼 수도 있고, 문자나 카톡으로 보낼 수도 있다. 뭐 조사마다 다르나 결국엔 조사에 참여해달라는 간청일 것이다.

 조사 요청 메시지는 응답률 제고에 있어 첫 관문 역할을 한다. 아래 논문은 메시지에 대표 설문문항을 넣었을 경우 응답률 제고에 효과적인지를 검증하였다. 결론적으로 효과가 있다고 한다. 설문조사이니 설문문항으로 관심을 끌겠다는 전략일 것이다.