단언컨데 웹조사에서 디바이스 효과(Smartphones, Tablets, Laptop, PC)는 없습니다.

 웹조사는 초창기에 당연히 PC로만 했다. 뭐 테블릿이나 스마트폰이 없었으니까. 그러나 세월이 흐르면서 테블릿이나 스마트폰으로 웹조사를 하는 비율이 많아졌다. 그러면서 나온 의문은 당연히 작은 화면으로 하는데도 응답의 질에 문제가 없을까였다. 특히나 나이가 많은 리서처들이 이런 걱정을 더 많이 한 것 같다(이건 전적으로 내 생각).

 지금 소개하는 논문 역시 이에 대한 의문증에서 시작한 것이다. 이 논문의 차별성은 여러 나라의 여러 웹조사 데이터를 가지고 증명했다는 것이다. 더불어 선택 바이어스를 최소화라기 위해 모드 선택을 응답자가 하지 않았다고 한다.

 논문의 결론은 모드 효과에 대해서는 안심해도 된다는 거다. 진짜 걱정하지 말자. 응답자들을 믿자.

우리나라 폴(poll) 시장에서 '전화면접조사'는 살아남을 수 있을까?

 우리가 흔히 이야기하는 여론조사에는 두 종류가 있다. 하나는 폴(poll)이고 하나는 서베이(survey)이다. 사실 두 단어 자체의 차이는 없다. 그러나 시간이 흐르면서 자연스럽게 퀵하게 태도 정도를 확인하기 위한 조사는 폴, 학계나 통계청 등에서 행위, 태도, 신념 등 다양한 문항을 확인하기 위한 조사는 서베이로 간주되고 있다.

 우리나라에서 폴이 서베이와 분리되어 인식된 것은 전화면접조사의 시작과 궤를 같이 한다. 대면면접조사에 비해 비용이나 시간을 훨씬 덜 들여 조사할 수 있는 전화면접조사의 등장은 주로 서베이에 머물던 여론조사 시장에서 폴이 확장되는 계기를 마련한 것이다. 예전 같으면 어림도 없었던 한 두 문항 여론조사도 등장했다. 아무튼 폴은 전화면접조사와 함께 계속 성장해왔다. 거기에 ARS 조사의 등장으로 전화면접과 함께 전화조사 시장의 성장이 가파랐다.

 그러나 최근 전화면접조사는 하락세를 걷고 있다. 전화조사 내부에서는 ARS 조사에 밀리고, 웹조사라는 새로운 모드 등장에 그 하락세는 지속될 것으로 보인다. 이유는 자명하다. 비용의 문제이다. 전화면접조사는 필연적으로 면접원이 필요한데 응답율 하락(전화를 아예 받지 않는 문제, 받아도 상당수가 조사를 거절하는 문제)으로 면접원에게 줘야하는 수당이 자꾸 늘어나는 것이다. 문제는 이러한 응답율 하락이 더욱 심각해질 것이라는 점이다.

 그렇다면 향후 폴 시장에서 전화면접조사는 살아남을 수 있을까? 내 생각으로는 힘들어 보인다. 그 근거를 몇 가지로 정리해보면 다음과 같다.

 1. 전화면접조사와 ARS조사의 직접비 차이가 계속 벌어질 것이다.

    (전화면접조사의 직접비는 상승 대비 ARS조사 직접비 상승은 크지 않을 것)

 2. 스팸차단기술 발달로 조사회사에서 거는 전화를 안받는 사람들이 계속 늘어날 것이다.

 3. 스마트폰 웹조사 시장이 성장할 것이다

 이런 이유로 폴 시장은 ARS조사와 웹조사가 양분하는 시장으로 바뀔 가능성이 크다.

표 스타일 설문(grid-style questions) 척도 방향 효과는?

 한 번에 많은 항목을 물으면서도 문항이 많아 보이지 않게하는 마법(?)과도 같은 표 스타일 설문(grid-style questions)은 어느 조사방법에서나 많이 활용된다. 그러나 표 스타일의 설문은 대충 응답하는 경향이 있어 바이어스가 많다는 연구가 많다. 이번에 소개하는 논문 역시 그런 연구 중 하나다. 차별점이라면 이 연구는 척도 방향에 따른 영향에 대한 것이다. 즉 표 스타일 설문에서 척도를 긍정에서 부정순으로 하느냐 아니면 반대로 부정에서 긍정순으로 하느냐에 따라 결과가 상이할 수 있다는 것이다. 그 외에도 스피더(아마 응답을 빨리하는 응답자인 것 같음) 응답자가 비스피더 응답자에 비해 바이어스가 더 나타난다고 한다.

 이래저래 저래이래 표 스타일의 설문은 아닌 것 같습니다.

 

아직도 일반국민 여론조사 시 지역, 성, 연령 비율만 확인하십니까?

 할당조사에서 지역(17개 시도), 성(남녀), 연령대(19-29세, 30대, 40대, 50대, 60세 이상)는 필수적인 변인으로 자리매김했다. 이 세 변수를 크로스한 할당표를 얼마나 잘 지켰는가는 조사의 정확성에 잣대가 되고 있다. 그러나 우리가 살펴봐야 할 변인이 이것 뿐이겠는가? 그럼에도 불구하고 다른 사회경제적 변인의 경우 모집단 비율을 확실히 추정할 수 없다는 주장에 밀려 검토조차 되지 못한게 사실이다.

 그래서 준비해봤다. 다양한 사회경제적 변인의 모집단 비율을...참고로 아래에 소개한 비율은 2017년 통계청 사회조사 원자료를 근거로 산출한 결과이다. 사회조사 자체가 센서스가 아니므로 완전한 모집단이라고 하기 어렵지만 그래도 현재 상황에서 구할 수 있는 가장 좋은 자료라고 생각한다. 12월 말이면 2018년 사회조사 원자료가 공개된다고 하니 그 때는 더 최신 자료로 업데이트 하겠다.

  

웹조사 설문 작성 11가지 꿀팁

 고객들이 보내준 수많은 설문 초안을 검토하면서 느낀 웹조사 설문 작성 팀 몇 가지를 소개하고자 한다.

1. 질문(stem) 보다는 보기(option)에 신경써라
 조사를 하는 응답자들의 최종 목적은 얼른 조사를 마치는 것이다. 이런 생각은 보기에서 어떤 곳에 클릭을 할지 몰두하게 만든다. 그러므로 보기에 충분한 정보를 주는 것이 좋다.

2. 비교 평가가 아닌 이상 평가 문항에서는 중간 척도를 최소화해라
 과거 보다 좋아졌는지 등 비교 평가는 당연히 변화없다나 비슷하다와 같은 중간 척도가 필요하지만 그 외에 평가 문항에서는 보통이다 등의 중간 척도를 가급적 쓰지 않는 것이 좋다.

3. 척도 수를 가급적 줄여라
 이론적으로 2점 척도(예-아니오, 만족한다-만족하지 않는다 등)면 대부분 충분하다. 척도 수를 최소화할수록 응답자의 부담은 훨씬 줄어들고 그에 따라 문항에 더 집중할 수 있다.

4. 척도 구성시 바이폴라보다는 유니폴라를 활용해라
 만족한다-불만족한다 보다는 만족한다-만족하지 않는다가 더 명확하다. 만족한다-불만족한다를 꼭 쓰고 싶다면 반드시 만족도 불만족도 아니다 라는 중간 척도가 필요하다.

5. 진술형 문항에 얼마나 동의하는지 문항은 가급적 피해라
 흔히 '----에 대해 긍정적 영향을 주었다'에 얼마나 동의하는지 묻는 문항을 많이 만드는데, 이건 응답자들을 너무 한 방향으로 몰아갈 위험이 크다. 그 보다는 '---에 어떤 영향을 주었는지'로 묻고 보기에 긍정적 영향을 주었는지 여부를 묻는게 맞다. 특히나 '----애 대해 부정적 영향을 주었다'에 동의여부를 묻는 것은 더 최악이다.

6. 7점 척도가 넘어가면 '클릭 방식'보다는 '스크롤 방식'으로 웹설문을 구성해라
 7점 척도까지는 일반적으로 해당 척도에 클릭하는 방식의 조사가 가능하지만 10점이 넘어가서 10점, 11점, 100점 척도를 사용해야한다면  그보다는 스크롤하여 해당 점수나 구간에 멈추게 하는 방식은 스크롤 방식이 응답 바이어스를 최소화할 수 있다.

7. 특별한 경우가 아니라면 '모르겠다'는 보기를 넣어라
 웹설문에 모르겠다를 넣으면 모르겠다 비율이 높게 나오지 않을까 걱정하는 사람들이 많은데 문항이 어렵지 않다면 그 비율이 3%를 넘는 경우는 거의 없다. 단 모르겠다는 다른 척도와 공간적으로든 색으로든 구별하는 것이 좋다.

8. 해당 정보를 설명하기 보다는 이를 문항 형태로 만들어라
 다시 한번 말하지만 응답자들은 문항을 풀고 싶어하지 다른 일(설명문 보기, 동영상 보기 등)은 최소화해서 하려고 한다. 그러므로 정보를 제공해야한다면 이를 퀴즈 형식으로 문항으로 만들어서 구성하는 것이 응답자의 몰입을 높이는데 있어 좋다.

9. 응답자 사례비(리워드)는 최대한으로 책정해라
 웹조사의 경우 문항 길이에 따라 응답자 사례비를 책정한다. 보통 1분에 100원 정도라고 보면 된다. 20분 분량이면 2000원 정도의 사례비가 필요하다고 보면 된다. 물론 이것은 최소한의 사례비이다. 가급적이면 이보다 1.5배 정도 더 책정하는 것이 좋다. 사례비에 따라 응답자 성실도가 다르기 때문이다.

10. 질문을 '한' 가지만 해라
 질문 작성자들은 대부분 본인들은 당연히 한가지 질문만 한다고 생각한다. 그러나 그렇지 않은 질문들이 너무 많다. 예를 들어 '귀하께서는 클래식을 들으면 마음이 평온해지고 안정감을 느끼십니까?'와 같은 질문이 있다고 해보자. 주변에 이런 류의 설문이 참 많은데 이 경우 마음이 평온해졌다와 마음에 안정감을 느꼈다는 분리하여 묻거나 둘 중 하나만 선택해서 묻는 것이 좋다.

11. 스마트폰에서 응답 가능한 포맷으로 질문을 만들어라
 요새 사람들은 스마트폰으로 안되는 건 하지 않는다. 서베이도 마찬가지다. 설문지를 작성할 때 스마트폰 화면에서 구현 가능한 문항으로 작성해야한다. 저희 설문은 어려운데...그런 거 없다. 잘 생각하면 다 된다. 이렇게 까지 오버해서 얘기하는 건 이게 정말 중요하기 때문이다.

[엉뚱생각] 카카오가 웹조사 시장에 뛰어들어 일명 '카카오서베이'를 만들면?

 카카오가 웹조사 시장에 뛰어들어 일명 카카오서베이를 만들면 웹조사 시장 아니 서베이조사 시장에 어떤 영향을 미칠까? 좋은 조사를 위해 카카오가 조사업계에 발을 들여한다고 5년전부터 주장했던 나의 생각을 한 번 풀어보려고 한다.
(참고로 카카오폴은 이미 카카오가 만들었던 서비스로 이건 서베이 앱은 아니고 일명 투표앱이었다)

 결론적으로 말하면 일명 카카오폴은 웹조사계의 끝판왕이 될 것이다. 조사 이론 측면에서 그 이유는 다음과 같다.

1. 국내 스마트폰 메시지 앱 점유율 시장 1위가 카카오톡이다. 즉 표집틀 측면에서 커버리지가 이보다 좋을 수 없다.

2. 문자나 이메일 대비 도달률(조사 요청 메시지를 볼 확률)이 훨씬 좋을 것이다. 서베이 측면에서 응답률을 올릴 수 있다. 거기에 응답 직후 카카오페이, 선물하기 등을 기존 시스템을 통해 바로 리워드를 제공할 수 있다. 이 역시 응답율 제고에 큰 도움을 줄 것이다.

3. 웹조사 설문 레이아웃 등 UI에 있어 상당한 강점이 있다. (카카오뱅크를 보면 안다) 설문 UI의 발달은 응답 바이어스를 줄일 수 있다. UI의 간편성은 설문을 만드는(입력하는) 사람 즉 조사를 의뢰하는 사람에게도 도움을 줄 것이다.

4. 카카오의 시스템을 통해 지나치게 많이 참여한 사람(일명 알바 혹은 꾼)에게는 조사 요청이 가지 않도록 할 수 있다. 이는 선택편향의 최소화에 도움을 줄 것이다. 이론적으로는 카카오(좁혀서 카카오폴) 가입자 정보를 이용한 층화랜덤추출도 가능할 것이다.

ARS와 전화면접 방식의 차이 어떻게 이해해야할까?

심심하면 나오는 ARS와 전화면접간의 결과 차이 기사...매번 나오지만 결론은 비슷하다. 결국 조사방식의 차이가 문제라는 것이다. 근데 이런 기사는 결국 돈을 덜 들이고 조사한 ARS조사에 이득이 될 수 밖에 없다. 그래서 조금 더 분석적으로 접근해보겠다.

할당조사에서 정확성(대표성)은 다음 세 가지 기준을 얼마나 지키느냐에 달려있다.

1. sampling frame
2. self-selecting sample
3. convenience sample

우선 1번 문제는 ARS나 전화면접조사나 유무선 RDD를 활용하니 별 차이가 없다고 본다.

다음으로 self-selecting sample 문제인데 ARS가 전화면접조사에 비해 훨씬 많은 사람들에게 컨택을 하기 때문에(협조율이 ARS가 더 낮으므로) 이 문제에 상대적으로 취약할 가능성이 크다.

마지막으로 convenience sample 문제는 보통 면접원의 편의에 의해 발생한다는 점에서 전화면접조사가 ARS에 비해 취약할 수 있다.

핵심은 2번 self-selecting sample과 3번 convenience sample 문제가 얼마나 바이어스가 발생하여 조사에 영향을 미치는지이다.

내 생각엔 2번 self-selecting sample 영향으로 한국당의 지지율 차이가 발생하는 것 같다. 물론 3번 convenience sample 문제가 전혀 없는 건 아니지만 전화면접은 대면면접에 비해 면접원의 편의 바이어스가 상대적으로 적기 때문이다.
(전화면접실에는 감청도 하고 수퍼바이저가 실시간으로 전화면접원을 감시하는 체제이므로 면접원이 무작정 편하게 응답자를 선정하기 쉽지 않다)

이 문제 외에도 ARS 업체에서 지속적으로 주장하는 일종의 면접원에 의한 '샤이' 바이어스도 있을 수 있다. 그러나 그것은 근본적이라기 보다는 부차적이라고 본다.

패널대상 웹조사에서 뭔가 가지고 있는지 혹은 해본적 있는지 먼저 물어보면 안되는 이유

 웹조사는 다른 조사와 달리 조사에 정기적으로 참여하는 패널들을 대상으로 조사를 하는 것이 일반적이다. 그러나 보니 이들은 조사를 일종의 게임과 같이 생각하는 경향이 있는 것 같다. 그래서 초반에 조사 대상에서 제외되는 것에 대해 매우 싫어한다. 그래서 가급적 조사 대상에서 제외되지 않게 하기 위해 뭔가를 가지고 있냐고 물어보면 그렇다고 하고, 뭔가를 해본적이 있냐고 하면 그렇다고 답할 경향성이 높다. 일종의 거짓말을 하는 것이다.

 예를 들어 최근 한달간 홍삼을 먹어본 적 있냐고 물어보면 패널들은 이 조사는 홍삼을 먹어본 사람들에게 뭔가를 물어보겠구나 하고 먹어봤다고 거짓말을 할 개연성이 크다. 지난 한 달간 책을 읽었냐는 질문도 마찬가지일 것이다.

 그렇다면 이런 바이어스를 어떻게 막아야할까?

 우선, 보유나 행태를 묻는 질문을 가급적 맨 앞에 배치하는 것을 피해야한다.

 다음으로, 보유나 행태를 묻는 질문에 노우라고 답해도 질문은 계속되고 인센티브도 동일하게 준다는 사실을 강조해서 알려야한다.

 마지막으로, 행태나 보유 문항을 질문할 때 다른 항목들을 복수로 물어 패널들이 조사 의도를 파악하지 못하도록 일종의 페이크를 써야한다. 예를 들면 홍삼 복용 경험을 묻고 싶으면 비타민 등 다른 건강식품의 복용여부까지 같이 물어 물타기(?)를 하는 것이 좋다.   

웹조사 요청 메시지를 어떻게 쓰면 응답률을 올릴 수 있을까?

 웹조사는 패널에게 웹조사에 들어갈 수 있는 url이 포함된 조사 요청을 보낸다. 그걸 이메일로 보낼 수도 있고, 문자나 카톡으로 보낼 수도 있다. 뭐 조사마다 다르나 결국엔 조사에 참여해달라는 간청일 것이다.

 조사 요청 메시지는 응답률 제고에 있어 첫 관문 역할을 한다. 아래 논문은 메시지에 대표 설문문항을 넣었을 경우 응답률 제고에 효과적인지를 검증하였다. 결론적으로 효과가 있다고 한다. 설문조사이니 설문문항으로 관심을 끌겠다는 전략일 것이다.

웹조사에서 표 스타일 설문(grid-style questions) 응답의 질 향상 방안은?

 표 스타일 설문(grid-style questions)은 웹조사에서 가장 많이 쓰이는 설문 방식이다. 많은 문항을 한 공간에 한 번에 물을 수 있고, 불필요한 중복을 피할 수 있기 때문이다. 그러나 표 스타일 설문은 일자로 찍기, 막 찍기, 패턴으로 찍기 등 응답 불성실과 관련하여 자유롭지 못하다. 이 논문은 이러한 문제 제기에서 씌여진 듯 하다. 스마트폰의 경우 화면 크기 문제로 표 스타일의 설문을 다른 형태로 변형하기 때문이다. 그러나 이는 화면 크기만의 문제는 아니다. 피씨에서도 스마트폰 형태로 문항을 변형하면 된다. 표 스타일 설문(grid-style questions)의 응답 정확성은 디바이스의 문제가 아니라 설문 구성의 문제이다.

웹설문 너무 빨리 응답하는 응답자에게 경고하기...그 효과는?

 웹조사는 대표적인 자기기입조사이다. 그 누구도 컨트롤하지 않으니 응답자 중 일부는 빨리 조사를 마치고 리워드를 받으려고 무아지경(?) 상태로 설문에 응답하기도 한다. 사실 지금까지 이런 사람들은 조사 후에 제외하는 방식으로 에러를 최소화했다. 물론 대다수의 웹조사는 이런 분들까지 포함하는게 일반적이다.

 그러나 이를 시스템적으로 해결한 사례가 있어 소개한다. 아래 논문을 보면 일종의 경고창 방식을 택했는데, 그 효과가 꾀나 쏠쏠한 걸로 나온 것 같다. 물론 이러한 경고창을 응답에게 띄우려면 웹조사 시스템이 발전해야한다. 그러나 못할 기술도 아니다. 웹조사의 기술은 점점 정교해지고 있다.

전화조사와 웹조사의 차이는 심각한가? 사회적 웰빙 관련하여

 전화조사와 웹조사간 결과 차이는 항상 핫이슈였고, 지금도 그렇다. 전화조사가 아직은 더 대표성이 있는 것으로 인식되기 때문에 이 논쟁은 마치 웹조사의 도전(?)처럼 느껴진다.

 아래 논문은 사회조사 중 가장 핫한 웰빙과 관련하여 전화조사와 웹조사 간 차이를 비교하였다. 결론적으로 응답 분포에는 분명히 차이가 나지만 그것이 통계적으로 심각할 정도의 차이는 아니라는 것이다. 더불어 두 모드간의 차이는 설명 가능한 정도라는 것이다.

 재미있는 것은 웹조사의 경우 중간 보기에 덜 응답하는 경향이 있다는 것이다. 이는 한국리서치에서 했던 자체 조사에서도 나타났던 현상이다. 반대로 말하면 양 극단으로 조금 더 흩어지는 경향이 전화조사보다 웹조사가 강하다는 것이다. 그리고 조금 더 현상에 대해 부정적이라는 것이다.

 사실 전화조사와 웹조사의 논쟁은 앞으로 진행될 것이다. 그러나 중요한 것은 뭐가 더 좋다는 것을 판단할 객관적인 증거를 찾기가 어렵다는 것이다. 그냥 많이 하는 조사가 더 좋은 조사가 될 확률이 높다고 본다.

길어도 너무 긴 웹설문의 정확도를 높이려면?

 길어도 너무 긴 설문이 응답의 정확성을 저해한다는 증거는 의외로 적다. 착각하면 안되는게 그렇다고 없다는 건 아닌거다. 사실 이런 주제는 리서처들이 별로 좋아하지 않는다. 왜냐하면 많은 문항을 한 번에 조사하는 것이 경제적이기 때문이다.

 그러나 직관적으로 너무 긴 설문에서 뒤에 배치된 문항의 정확성은 떨어질 수 밖에 없다. 모르시겠다면 40분짜리 웹조사를 한 번 해보면 알게된다.

 이번 논문은 길어도 너무 긴 설문의 정확성을 높이기 위한 솔루션을 제시해준다. 친절하게도 실험조사를 하여 그 증거까지 제시해주고 있다.

 결과적으로 설문문항을 쪼개란 것이다. 사실 설문지를 쪼개는 방법은 두 가지가 있다. 우선 선 쉽게 할 수 있는 것은 설문의 파트를 두개로 나누는 것이다. 즉 1번부터 100번까지를 한 파트, 101번부터 200번까지를 다른 파트로 나누는 것이다. 그러나 이 논문에서 제시한 방법은 이 방법이 아니다. 문항마다 랜덤하게 응답자를 선정하는 것이다. 즉 어떤 응답자는 1번, 3번, 5번을 응답하게 되고 또 다른 응답자는 1번, 2번, 4번을 응답하게 되는 것이다.

 긴 설문은 해야겠고, 응답의 정확성도 포기할 수 없는 연구자의 경우 이 방법을 사용할 법하다. 나는 첫 번째로 설명한 쪼개기(1부와 2부로 나누는 것)도 시도할만 하다고 본다. 물론 아직 증거는 없다.

5점 척도 분석 시 (환산) 평균값이 최상일까?

 중간 보기가 없는 2점이나 4점의 경우는 긍정비율(찬성, 만족 등)을 가지고 주로 분석을 한다. 그러나 중간 보기가 있는 3점이나 (특히) 5점의 경우 긍정비율보다는 평균값(3점 or 5점 만점, 아니면 이를 100점으로 환산)을 많이 활용한다. 왜 일까? 아마도 중간 보기의 해석이 어려워서일거다.

 그러나 최근에 통계청 2018 사회조사 결과를 보면서 5점 척도의 경우 평균값을 활용하지 않는다는 것을 알게 되었다. 심지어 평균값 자체를 산출하지 않는다고 했다. 척도 간 등간성이 확실하지 않은 상황에서 평균을 내는 것은 결과치를 왜곡할 수 있다는 이유에서였다. 물론 1점에서 5점 사이의 주관식 값으로 응답을 받은 거라면 평균을 낼 것이라고 했다.

(이 기회에 저의 취재(?)를 응해주신 사회조사 담당 통계청 직원분께 감사의 말씀을...^^)

 사실 10여년 간 5점 척도를 활용한 문항을 분석할 때 비율을 쓸지 평균을 쓸지 고민을 많이 했었다. 물론 선배 리서처들의 보고서에서 대부분 평균을 활용했길래 그걸 따라했었다. 그러나 오늘부터는 평균과 이별해야겠다.

확률표집과 비확률표집 중 더 정확한 것은?

 확률표집에 대한 회의와 의심이 높아져서일까? 최근 확률표집이 비확률표집보다 더 정확하다는 류의 논문이 다량 생산되고 있다. 사실 당연한 걸로 생각했는데 이렇게 논문이 많이 나오니 오히려 의심이 든다.

 이 논문은 좀 더 많은 조사와 변수를 RMSE(root mean squared error) 방식으로 분석했으니 더 믿을 수 있어요를 반복하고 있다. 그러면서 깨알같이 응답율이 예전만 못해도 확률표집이 '짱'이라고 설파하고 있다.

 그러나 조사회사 자료가 대부분 2012년이라는 점에서 신뢰하기가 좀 어려운 부분이 있다. 2018년이니 2017년 정도는 썼어야하지 않았을까?

 자세한 내용은 아래 사이트에서 확인하면 된다.
https://academic.oup.com/poq/advance-article-abstract/doi/10.1093/poq/nfy038/5151369?redirectedFrom=fulltext

왜 유선전화보다 무선전화로 인터뷰할 때 시간이 길까?

  영어 번역이 귀찮아 파파고 번역을 통해 논문 요약을 하면 아래와 같다.
앞으로 이런 식의 성의 없는 논문 요약이 자주 등장할거다...^^ 뭐 대충 내용만 이해하면 땡이니까...

왜 전화 인터뷰가 유선전화보다 휴대폰에서 더 오래 지속될까요? 이 현상에 대한 일반적인 설명에는 질문 하위 집합으로의 차등 선택, 질문 답변 순서 밖의 활동(셀-분 보상을 위한 연락처 정보 수집 등), 응답자 특성, 응답자의 인식 및 이해에 지장을 나타내는 행동 및 행동 i가 포함된다.붕괴에 대한 시청자의 반응 우리는 우리가 인터뷰의 질문-답변 부분에만 집중하고 공유된 질문에만 집중하더라도(즉, 위의 처음 두 개의 설명을 삭제) 시간 차이는 지속된다는 것을 알게 된다. 그 차이가 지속되는 이유를 알기 위해, 우리는 미국 성인을 대상으로 한 이중 프레임 전화 설문 조사인 미국/일본 신문 의견 설문조사의 행동 코드를 사용하여 만족, 선 품질 문제 및 주의 산만함의 지표를 조사합니다. 전반적으로, 우리는 휴대폰에 대한 응답자들이 더 혼란스러워졌고, 휴대폰 응답자들이 받아들일 수 있는 답변을 제공하는 데 시간이 더 오래 걸리기 때문에 인터뷰 지속시간의 차이가 발생한다는 것을 알게 되었다. 면접관들도 질문을 할 때 연설의 속도를 늦춘다. 두 배우의 느린 말하기 비율은 응답자들이 휴대전화를 사용할 때 더 길고 더 비싼 인터뷰를 하게 된다.

  실증 자료를 통해 다양한 분석을 하는데...결론은 엄청 허무하다. 그냥 무선전화로 응답하는 응답자들이 말을 길게 오래한다는 거다. 내 생각엔 그냥 무선전화로 인터뷰하는게 조금 더 익숙하고 편해서이지 않을까?

여론 측정(measure public opinion)과 여론 기술(describe public opinion)의 차이

 여론조사의 질문은 그 목적에 따라 여론을 측정하는 것(measure public opinion)과 여론을 기술하는 것(describe public opinion)의 두 개의 범주로 나뉜다.

  우선 우리가 흔히 보는 여론조사 분석은 대다수가 여론을 기술한 것이다. 해당 주제에 대한 찬반이나 그 이유를 물어서 국민의 몇 % 정도가 찬성 혹은 반대하는지 그 이유는 무엇인지를 알려준다. 매주 나오는 한국갤럽의 보고서는 여론 기술의 가장 좋은 예이다.

 그렇다면 여론을 측정하는 것은 무엇일까? 여론을 측정하기 위해서는 단순히 태도 문항만을 활용해서는 안된다. 그 보다는 태도 기저에 있는 가치 혹은 신념을 태도와 함께 측정해야한다. 만약 위에서 예로든 부동산 정책에 대한 태도 문항을 측정할 경우 정부의 시장 개입에 인식 혹은 정부의 효율성 인식 등 부동산 정책 태도와 연관이 있어보이는 가치 혹은 신념을 같이 물어봐야한다.

 그와 더불어 가능하다면 가치 혹은 신념 문항을 2X2 혹은 2X3 혹은 3X3으로 교차하여 유형화(typology)까지 하면 더 좋다. 유형화 작업을 할 경우 정책의 타겟을 설정할 수 있다는 실용적인 장점이 있기 때문이다.

 아무튼 이러한 인지 단계별 측정을 통해 태도에 대한 단순한 기술을 넘어 설명이 가능해진다. 왜 그러한 태도를 보이는 것인지 어떤 유형화 집단이 타겟인지를 유추할 수 있게 된다.

웹조사에서는 질문(stem) 말고 보기(options)에 양보하세요...

 고객마다 설문지를 구성하는 스타일이 있다. 중간이 없는 4점 척도 보기를 좋아하는 고객이 있는가 하면 중간이 있는 5점 척도 보기를 좋아하는 고객도 있다. 그러나 모든 고객들이 가진 공통점이 있다. 바로 보기(options)보다는 질문(stem)에 훨씬 많은 신경을 쓴다는 것이다. 워딩 고민의 99%는 질문이다. 전화면접이나 대면면접에서는 질문에 신경쓰는 것이 맞다. 왜냐하면 면접원이 말로 질문을 해야하기 때문이다.

 그러나 웹조사 영역에서는 질문에 신경을 쓰는 일은 심하게 말해 무의미한 일이다. 왜냐하면 응답자들은 질문에는 눈길을 거의주지 않고 오로지 보기에만 집중하기 때문이다. 아이트랙커를 통해 실험한 결과를 보면 질문 쪽에는 아예 눈길조차 가지 않는 것을 알 수 있다. 이는 목적 지향적 행동으로 응답자는 선택해야 할 보기에 자연스럽게 집중하는 것이다. 

 이런 점을 감안할 때 웹조사에서는 질문은 최소화하고 보기에 역량을 집중하는 전략이 필요하다. 

(X)

문. 귀하께서는 A라는 정책에 대해 찬성하십니까? 아니면 반대하십니까?

1. 찬성한다

2. 반대한다

3. 모르겠다

(O)

문. 귀하의 의견은?

1. A라는 정책에 대해 찬성한다

2. A라는 정책에 대해 반대한다

우리나라 조사회사에서만 활용하는 요상한(?) 직업 문항을 아십니까?

 여론조사를 하다보면 직업 문항은 거의 들어가기 마련이다. 보통 아래와 같은 형태이다.

<R&R>

<한국갤럽>

 <한국리서치>

 그런데 이러한 설문은 사실은 산업, 직업, 종사상 지위, 비고용이유 등의 문항이 짬뽕된 형태로 문제가 매우 많다. 자세히 보면 이렇다. 일단 농/임/어업은 산업 형태 중 하나이다. 자영업은 종사상 지위 중 하나이다. 판매직이나 전문직 등은 직업이다. 더 재미있는 것은 주부, 학생, 무직/퇴직과 같은 직업이나 고용상태와 무관한 보기도 있다는 것이다. 한마디로 배타성이 결여된 괴팍한 문항(자영업이면서 전문직일 수 있으니)이다.

  예를 들어 알바를 아주 쬐끔하는 주부는 가정주부 혹은 주부로 응답할 가능성이 크다. 알바를 하는 학생 역시 마찬가지이다. 또한 변호사 사무실을 개업한 변호사의 경우 종사상 지위는 자영업자이지만 직업은 전문직이니 어디에다 응답해도 된다. 그 뿐인가? 남편의 가계를 도와주는 주부의 경우 자영업으로 응답할 가능성도 있다(사실은 무급가족종사자일테지만). 정말 "그때 그때 달라요"이다.

 그렇다면 왜 이런 설문을 계속 유지하는걸까? 아마도 한 개 문항으로 산업, 직업, 종사상 지위, 비고용이유 등을 한방에 알 수 있기 때문이다. 조사회사는 조사회사대로 편하니 이렇게 물었을테고 고객측에서도 이러한 사정을 모르니 그냥 두었을 것이다. 앞으로라도 정말 시정되어야할 부분이다.

'모두 골라주세요?'하면 진짜 다 고를까? (Check All vs Forced Choice)

  고객들이 주는 설문 중에 많지는 않지만 간혹 '다음 중에서 해당되는 것을 모두 골라라'가 있다. 그러나 이런 류의 문항은 피하는 것이 좋다. 이유는 실제보다 과소 응답하는 경향이 크기 때문이다. 즉 실제로 해당되는데도 복수로 응답하는 것이 번거로워 적게 선택한다는 것이다. 특히 이전 결과와 비교를 원한다면 모두 골라 시리즈 문항은 더욱 피해야한다. 이와 관련해서는 아래 논문을 참고하면 된다.

<check all 방식 문항 예시>

<위 문항을 forced choice로 바꾸면>

진술형(agree/disagree) 문항 vs 개별맞춤(item-specific) 문항

   우선 두 개의 비슷한 문항을 소개하고자 한다.

케이스1
문. 다음 진술에 얼마나 동의하십니까? '나는 평소에 정치에 관심이 있다'
1. 매우 그렇다
2. 대체로 그렇다
3. 별로 그렇지 않다
4. 전혀 그렇지 않다

케이스2
문. 귀하께서는 평소에 정치에 어느정도 관심이 있습니까?
1. 매우 관심이 있다
2. 약간 관심이 있다
3. 별로 관심이 없다
4. 전혀 관심이 없다

  뭐 똑같은거 아니야라고 생각한다면 큰 오산이다. 케이스1과 같은 A/D 문항보다 케이스2와 같은 IS 문항이 응답자 집중도 면이나 응답의 신뢰성 면에서 더 낫다고 한다. 아래 논문 실험 결과를 보면 명확하다. 이 논문에서는 아이트랙커 실험 결과도 보여주는데 결과가 매우 흥미롭다.

확률기반 패널(probability based panels)이 뭔가요?

  패널이란 의미는 서베이에서 크게 두 가지 의미로 활용된다. 하나는 패널조사에서의 패널이고, 또 다른 하나는 액세스패널에서의 패널이다. 웹조사를 하려면 조사에 응할 수 있는 표집틀이 있어야하는데 이 표집틀이 바로 액세스패널이다. 정말 쉽게 표현하면 조사회사의 회원(?)이라고 생각하면 된다.

  조사회사의 액세스패널은 회사마다 다양한 이름으로 존재한다. 전세계 수많은 조사회사에서 자사의 액세스패널을 보유하고 있다. 대부분의 액세스패널은 비확률표집 방법으로 모집되었다. 대부분 온라인을 통해 모집하기 때문이다.

  그러나 웹조사 패널 중에 확률기반 패널(probability based panels)이 종종 있다. 이 패널은 ABS나 RDD 방식으로 모집되었기 때문에 확률기반이라는 이름이 앞에 붙는다. 한마디로 품질 차원에서 매우 고품질의 패널인 것이다.

  그렇다면 전 세계적으로 확률기반 패널은 몇 종류나 될까? 현재까지는 아래와 같이 8개 정도가 있는 것 같다. 딱 보면 알겠지만 우리나라에는 아직 없다.

웹서베이에서 함정(덫?) 문항(trap questions)이 필요할까?

  자기기입조사인 웹조사의 경우 정직한 응답을 하고 사회적 바람직성에 영향을 덜 받는 장점이 있는 반면, 대면면접조사에 비해 응답자의 인게이지먼트 수준이 낮다는 비판을 받는다. 이러한 단점을 보완하기 위해 고안된 것이 일명 함정(덫?) 문항(trap questions)이다. 문항 앞, 중간, 뒤에 함정 문항을 넣어 응답자가 얼마나 집중하면서 조사에 응하는지를 테스트하는 것이다.

  그렇다면 함정 문항은 정말 응답자의 인게이지먼트 수준을 가늠하는 척도가 될 수 있을까? 이에 대한 최근 논문이 있어 소개하고자한다. 결론적으로 함정 문항에 통과를 못한 응답자의 경우 응답 성실성에 있어 일부 문제가 있다는 것이다.

  참고로 이 논문에서 활용한 함정 문항은 아래와 같다. 쉬운 것도 있고 어려운 것도 있다.

  사실 이러한 함정 문항의 연구는 대부분 마케팅조사 영역에서 이루어지고 있다. 왜 그럴까? 마케팅조사의 설문 문항이 지나치게 길기 때문이다. 함정 문항이 응답의 성실성을 체크할 수 있는 수단이라면 잘 개발하여 웹서베이에 적용하는 것도 좋지만 그 보다는 설문 문항 수를 줄일 생각을 먼저해야하는 거 아닐까?

유니폴라 척도에서 5점 척도란?

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 대체로 만족한다
 3. 보통이다
 4. 별로 만족하지 않는다
 5. 전혀 만족하지 않는다

  우리는 만족도 조사에서 이런 설문을 자주 본다. 대표적인 유니폴라 척도 문항이다. 그런데 이 설문에서 5점 척도를 이런식으로 쓰는 게 맞는걸까? 필자가 보기엔 아니다. 왜냐하면 보통이라는 의미가 모호하기 때문이다. 만족한다와 만족하지 않는다 사이에 논리적으로 무언가가 올 수 없다. 이런 문항의 경우 5점 척도를 유지하고 싶으면 아래와 같이 수정해야한다.

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 어느 정도 만족한다
 3. 조금 만족한다
 4. 별로 만족하지 않는다
 5. 전혀 만족하지 않는다


  반면 아래와 같은 바이폴라 척도 문항은 5점 척도를 쓰는게 맞는걸까? 이런 경우에는 5점 척도가 맞다. 여기서 보통이라는 의미는 만족하지도 불만족하지도 않는다는 중간 상황(mid point)을 의미하기 때문이다. 물론 가능하다면 보통이라는 워딩보다는 만족하지도 불만족하지도 않는다가 좋다.

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 대체로 만족한다
 3. 보통이다 -> 만족하지도 불만족하지도 않는다
 4. 대체로 불만족한다
 5. 매우 불만족한다

웹조사 PC는 지고, 스마트폰은 뜨고

  한국리서치는 올해 1월부터 웹서베이를 정기적으로 하면서 패널들에게 조사 요청을 이메일과 문자로 동시에 하였다. 패널들이 상황에 맞게 본인이 편한 루트로 들어와 조사를 진행하라는 취지에서 였다.

  그렇다면 패널들은 어떤 디바이스를 통해 주로 조사를 했을까? 지난 6개월치 자료를 분석해본 결과 PC로 웹조사한 비율은 30% 스마트폰으로 조사한 비율은 70%였다.
(참고로 정기조사는 120문항 내외로 응답시간은 평균 19분 정도였음)

  지금까지 스마트폰을 통한 웹조사에 대한 비판(?)이 많았다. 스마트폰으로는 긴 설문을 못할꺼야...PC로 한 것보다 성실성 면에서 떨어질거야 등이 그것이다. 그러나 원자료를 통해 비교해본 결과 디바이스에 따른 차이는 없었다.

  자 이제 결론은 나왔다. 스마트폰 웹조사 시대가 오고 있다. 아니 이미 왔다.

2018년 한국리서치 정기 웹조사 디바이스별 응답비율

	1월	2월	3월	4월	5월	6월
PC	35%	30%	27%	32%	30%	25%
스마트폰	65%	70%	73%	68%	70%	75%
전체	100%	100%	100%	100%	100%	100%

GPS를 통한 조사지점 샘플링?

  기술의 발달을 못 따라가는 분야 중 하나가 서베이 영역이다. 기술이 저만치 가면 그때서야 기웃거리는 형국이다. GPS 기술이 이미 상용화가 되었지만 누구 하나 이 기술을 샘플링에 활용하지 못했다. 이와 관련하여 기초적이지만 학문적으로 검토한 논문이 있어 소개하고자 한다.

  GPS는 조사 지점 리스트(일종의 표집틀)을 가지고 있기 때문에 충분히 조사지점 샘플링 자료로 활용이 가능하다고 본다.