[엉뚱생각] 카카오가 웹조사 시장에 뛰어들어 일명 '카카오서베이'를 만들면?

 카카오가 웹조사 시장에 뛰어들어 일명 카카오서베이를 만들면 웹조사 시장 아니 서베이조사 시장에 어떤 영향을 미칠까? 좋은 조사를 위해 카카오가 조사업계에 발을 들여한다고 5년전부터 주장했던 나의 생각을 한 번 풀어보려고 한다.
(참고로 카카오폴은 이미 카카오가 만들었던 서비스로 이건 서베이 앱은 아니고 일명 투표앱이었다)

 결론적으로 말하면 일명 카카오폴은 웹조사계의 끝판왕이 될 것이다. 조사 이론 측면에서 그 이유는 다음과 같다.

1. 국내 스마트폰 메시지 앱 점유율 시장 1위가 카카오톡이다. 즉 표집틀 측면에서 커버리지가 이보다 좋을 수 없다.

2. 문자나 이메일 대비 도달률(조사 요청 메시지를 볼 확률)이 훨씬 좋을 것이다. 서베이 측면에서 응답률을 올릴 수 있다. 거기에 응답 직후 카카오페이, 선물하기 등을 기존 시스템을 통해 바로 리워드를 제공할 수 있다. 이 역시 응답율 제고에 큰 도움을 줄 것이다.

3. 웹조사 설문 레이아웃 등 UI에 있어 상당한 강점이 있다. (카카오뱅크를 보면 안다) 설문 UI의 발달은 응답 바이어스를 줄일 수 있다. UI의 간편성은 설문을 만드는(입력하는) 사람 즉 조사를 의뢰하는 사람에게도 도움을 줄 것이다.

4. 카카오의 시스템을 통해 지나치게 많이 참여한 사람(일명 알바 혹은 꾼)에게는 조사 요청이 가지 않도록 할 수 있다. 이는 선택편향의 최소화에 도움을 줄 것이다. 이론적으로는 카카오(좁혀서 카카오폴) 가입자 정보를 이용한 층화랜덤추출도 가능할 것이다.

ARS와 전화면접 방식의 차이 어떻게 이해해야할까?

심심하면 나오는 ARS와 전화면접간의 결과 차이 기사...매번 나오지만 결론은 비슷하다. 결국 조사방식의 차이가 문제라는 것이다. 근데 이런 기사는 결국 돈을 덜 들이고 조사한 ARS조사에 이득이 될 수 밖에 없다. 그래서 조금 더 분석적으로 접근해보겠다.

할당조사에서 정확성(대표성)은 다음 세 가지 기준을 얼마나 지키느냐에 달려있다.

1. sampling frame
2. self-selecting sample
3. convenience sample

우선 1번 문제는 ARS나 전화면접조사나 유무선 RDD를 활용하니 별 차이가 없다고 본다.

다음으로 self-selecting sample 문제인데 ARS가 전화면접조사에 비해 훨씬 많은 사람들에게 컨택을 하기 때문에(협조율이 ARS가 더 낮으므로) 이 문제에 상대적으로 취약할 가능성이 크다.

마지막으로 convenience sample 문제는 보통 면접원의 편의에 의해 발생한다는 점에서 전화면접조사가 ARS에 비해 취약할 수 있다.

핵심은 2번 self-selecting sample과 3번 convenience sample 문제가 얼마나 바이어스가 발생하여 조사에 영향을 미치는지이다.

내 생각엔 2번 self-selecting sample 영향으로 한국당의 지지율 차이가 발생하는 것 같다. 물론 3번 convenience sample 문제가 전혀 없는 건 아니지만 전화면접은 대면면접에 비해 면접원의 편의 바이어스가 상대적으로 적기 때문이다.
(전화면접실에는 감청도 하고 수퍼바이저가 실시간으로 전화면접원을 감시하는 체제이므로 면접원이 무작정 편하게 응답자를 선정하기 쉽지 않다)

이 문제 외에도 ARS 업체에서 지속적으로 주장하는 일종의 면접원에 의한 '샤이' 바이어스도 있을 수 있다. 그러나 그것은 근본적이라기 보다는 부차적이라고 본다.

패널대상 웹조사에서 뭔가 가지고 있는지 혹은 해본적 있는지 먼저 물어보면 안되는 이유

 웹조사는 다른 조사와 달리 조사에 정기적으로 참여하는 패널들을 대상으로 조사를 하는 것이 일반적이다. 그러나 보니 이들은 조사를 일종의 게임과 같이 생각하는 경향이 있는 것 같다. 그래서 초반에 조사 대상에서 제외되는 것에 대해 매우 싫어한다. 그래서 가급적 조사 대상에서 제외되지 않게 하기 위해 뭔가를 가지고 있냐고 물어보면 그렇다고 하고, 뭔가를 해본적이 있냐고 하면 그렇다고 답할 경향성이 높다. 일종의 거짓말을 하는 것이다.

 예를 들어 최근 한달간 홍삼을 먹어본 적 있냐고 물어보면 패널들은 이 조사는 홍삼을 먹어본 사람들에게 뭔가를 물어보겠구나 하고 먹어봤다고 거짓말을 할 개연성이 크다. 지난 한 달간 책을 읽었냐는 질문도 마찬가지일 것이다.

 그렇다면 이런 바이어스를 어떻게 막아야할까?

 우선, 보유나 행태를 묻는 질문을 가급적 맨 앞에 배치하는 것을 피해야한다.

 다음으로, 보유나 행태를 묻는 질문에 노우라고 답해도 질문은 계속되고 인센티브도 동일하게 준다는 사실을 강조해서 알려야한다.

 마지막으로, 행태나 보유 문항을 질문할 때 다른 항목들을 복수로 물어 패널들이 조사 의도를 파악하지 못하도록 일종의 페이크를 써야한다. 예를 들면 홍삼 복용 경험을 묻고 싶으면 비타민 등 다른 건강식품의 복용여부까지 같이 물어 물타기(?)를 하는 것이 좋다.   

웹조사 요청 메시지를 어떻게 쓰면 응답률을 올릴 수 있을까?

 웹조사는 패널에게 웹조사에 들어갈 수 있는 url이 포함된 조사 요청을 보낸다. 그걸 이메일로 보낼 수도 있고, 문자나 카톡으로 보낼 수도 있다. 뭐 조사마다 다르나 결국엔 조사에 참여해달라는 간청일 것이다.

 조사 요청 메시지는 응답률 제고에 있어 첫 관문 역할을 한다. 아래 논문은 메시지에 대표 설문문항을 넣었을 경우 응답률 제고에 효과적인지를 검증하였다. 결론적으로 효과가 있다고 한다. 설문조사이니 설문문항으로 관심을 끌겠다는 전략일 것이다.

웹조사에서 표 스타일 설문(grid-style questions) 응답의 질 향상 방안은?

 표 스타일 설문(grid-style questions)은 웹조사에서 가장 많이 쓰이는 설문 방식이다. 많은 문항을 한 공간에 한 번에 물을 수 있고, 불필요한 중복을 피할 수 있기 때문이다. 그러나 표 스타일 설문은 일자로 찍기, 막 찍기, 패턴으로 찍기 등 응답 불성실과 관련하여 자유롭지 못하다. 이 논문은 이러한 문제 제기에서 씌여진 듯 하다. 스마트폰의 경우 화면 크기 문제로 표 스타일의 설문을 다른 형태로 변형하기 때문이다. 그러나 이는 화면 크기만의 문제는 아니다. 피씨에서도 스마트폰 형태로 문항을 변형하면 된다. 표 스타일 설문(grid-style questions)의 응답 정확성은 디바이스의 문제가 아니라 설문 구성의 문제이다.

웹설문 너무 빨리 응답하는 응답자에게 경고하기...그 효과는?

 웹조사는 대표적인 자기기입조사이다. 그 누구도 컨트롤하지 않으니 응답자 중 일부는 빨리 조사를 마치고 리워드를 받으려고 무아지경(?) 상태로 설문에 응답하기도 한다. 사실 지금까지 이런 사람들은 조사 후에 제외하는 방식으로 에러를 최소화했다. 물론 대다수의 웹조사는 이런 분들까지 포함하는게 일반적이다.

 그러나 이를 시스템적으로 해결한 사례가 있어 소개한다. 아래 논문을 보면 일종의 경고창 방식을 택했는데, 그 효과가 꾀나 쏠쏠한 걸로 나온 것 같다. 물론 이러한 경고창을 응답에게 띄우려면 웹조사 시스템이 발전해야한다. 그러나 못할 기술도 아니다. 웹조사의 기술은 점점 정교해지고 있다.

전화조사와 웹조사의 차이는 심각한가? 사회적 웰빙 관련하여

 전화조사와 웹조사간 결과 차이는 항상 핫이슈였고, 지금도 그렇다. 전화조사가 아직은 더 대표성이 있는 것으로 인식되기 때문에 이 논쟁은 마치 웹조사의 도전(?)처럼 느껴진다.

 아래 논문은 사회조사 중 가장 핫한 웰빙과 관련하여 전화조사와 웹조사 간 차이를 비교하였다. 결론적으로 응답 분포에는 분명히 차이가 나지만 그것이 통계적으로 심각할 정도의 차이는 아니라는 것이다. 더불어 두 모드간의 차이는 설명 가능한 정도라는 것이다.

 재미있는 것은 웹조사의 경우 중간 보기에 덜 응답하는 경향이 있다는 것이다. 이는 한국리서치에서 했던 자체 조사에서도 나타났던 현상이다. 반대로 말하면 양 극단으로 조금 더 흩어지는 경향이 전화조사보다 웹조사가 강하다는 것이다. 그리고 조금 더 현상에 대해 부정적이라는 것이다.

 사실 전화조사와 웹조사의 논쟁은 앞으로 진행될 것이다. 그러나 중요한 것은 뭐가 더 좋다는 것을 판단할 객관적인 증거를 찾기가 어렵다는 것이다. 그냥 많이 하는 조사가 더 좋은 조사가 될 확률이 높다고 본다.

길어도 너무 긴 웹설문의 정확도를 높이려면?

 길어도 너무 긴 설문이 응답의 정확성을 저해한다는 증거는 의외로 적다. 착각하면 안되는게 그렇다고 없다는 건 아닌거다. 사실 이런 주제는 리서처들이 별로 좋아하지 않는다. 왜냐하면 많은 문항을 한 번에 조사하는 것이 경제적이기 때문이다.

 그러나 직관적으로 너무 긴 설문에서 뒤에 배치된 문항의 정확성은 떨어질 수 밖에 없다. 모르시겠다면 40분짜리 웹조사를 한 번 해보면 알게된다.

 이번 논문은 길어도 너무 긴 설문의 정확성을 높이기 위한 솔루션을 제시해준다. 친절하게도 실험조사를 하여 그 증거까지 제시해주고 있다.

 결과적으로 설문문항을 쪼개란 것이다. 사실 설문지를 쪼개는 방법은 두 가지가 있다. 우선 선 쉽게 할 수 있는 것은 설문의 파트를 두개로 나누는 것이다. 즉 1번부터 100번까지를 한 파트, 101번부터 200번까지를 다른 파트로 나누는 것이다. 그러나 이 논문에서 제시한 방법은 이 방법이 아니다. 문항마다 랜덤하게 응답자를 선정하는 것이다. 즉 어떤 응답자는 1번, 3번, 5번을 응답하게 되고 또 다른 응답자는 1번, 2번, 4번을 응답하게 되는 것이다.

 긴 설문은 해야겠고, 응답의 정확성도 포기할 수 없는 연구자의 경우 이 방법을 사용할 법하다. 나는 첫 번째로 설명한 쪼개기(1부와 2부로 나누는 것)도 시도할만 하다고 본다. 물론 아직 증거는 없다.

5점 척도 분석 시 (환산) 평균값이 최상일까?

 중간 보기가 없는 2점이나 4점의 경우는 긍정비율(찬성, 만족 등)을 가지고 주로 분석을 한다. 그러나 중간 보기가 있는 3점이나 (특히) 5점의 경우 긍정비율보다는 평균값(3점 or 5점 만점, 아니면 이를 100점으로 환산)을 많이 활용한다. 왜 일까? 아마도 중간 보기의 해석이 어려워서일거다.

 그러나 최근에 통계청 2018 사회조사 결과를 보면서 5점 척도의 경우 평균값을 활용하지 않는다는 것을 알게 되었다. 심지어 평균값 자체를 산출하지 않는다고 했다. 척도 간 등간성이 확실하지 않은 상황에서 평균을 내는 것은 결과치를 왜곡할 수 있다는 이유에서였다. 물론 1점에서 5점 사이의 주관식 값으로 응답을 받은 거라면 평균을 낼 것이라고 했다.

(이 기회에 저의 취재(?)를 응해주신 사회조사 담당 통계청 직원분께 감사의 말씀을...^^)

 사실 10여년 간 5점 척도를 활용한 문항을 분석할 때 비율을 쓸지 평균을 쓸지 고민을 많이 했었다. 물론 선배 리서처들의 보고서에서 대부분 평균을 활용했길래 그걸 따라했었다. 그러나 오늘부터는 평균과 이별해야겠다.

확률표집과 비확률표집 중 더 정확한 것은?

 확률표집에 대한 회의와 의심이 높아져서일까? 최근 확률표집이 비확률표집보다 더 정확하다는 류의 논문이 다량 생산되고 있다. 사실 당연한 걸로 생각했는데 이렇게 논문이 많이 나오니 오히려 의심이 든다.

 이 논문은 좀 더 많은 조사와 변수를 RMSE(root mean squared error) 방식으로 분석했으니 더 믿을 수 있어요를 반복하고 있다. 그러면서 깨알같이 응답율이 예전만 못해도 확률표집이 '짱'이라고 설파하고 있다.

 그러나 조사회사 자료가 대부분 2012년이라는 점에서 신뢰하기가 좀 어려운 부분이 있다. 2018년이니 2017년 정도는 썼어야하지 않았을까?

 자세한 내용은 아래 사이트에서 확인하면 된다.
https://academic.oup.com/poq/advance-article-abstract/doi/10.1093/poq/nfy038/5151369?redirectedFrom=fulltext