'모두 골라주세요?'하면 진짜 다 고를까? (Check All vs Forced Choice)

  고객들이 주는 설문 중에 많지는 않지만 간혹 '다음 중에서 해당되는 것을 모두 골라라'가 있다. 그러나 이런 류의 문항은 피하는 것이 좋다. 이유는 실제보다 과소 응답하는 경향이 크기 때문이다. 즉 실제로 해당되는데도 복수로 응답하는 것이 번거로워 적게 선택한다는 것이다. 특히 이전 결과와 비교를 원한다면 모두 골라 시리즈 문항은 더욱 피해야한다. 이와 관련해서는 아래 논문을 참고하면 된다.

<check all 방식 문항 예시>

<위 문항을 forced choice로 바꾸면>

진술형(agree/disagree) 문항 vs 개별맞춤(item-specific) 문항

   우선 두 개의 비슷한 문항을 소개하고자 한다.

케이스1
문. 다음 진술에 얼마나 동의하십니까? '나는 평소에 정치에 관심이 있다'
1. 매우 그렇다
2. 대체로 그렇다
3. 별로 그렇지 않다
4. 전혀 그렇지 않다

케이스2
문. 귀하께서는 평소에 정치에 어느정도 관심이 있습니까?
1. 매우 관심이 있다
2. 약간 관심이 있다
3. 별로 관심이 없다
4. 전혀 관심이 없다

  뭐 똑같은거 아니야라고 생각한다면 큰 오산이다. 케이스1과 같은 A/D 문항보다 케이스2와 같은 IS 문항이 응답자 집중도 면이나 응답의 신뢰성 면에서 더 낫다고 한다. 아래 논문 실험 결과를 보면 명확하다. 이 논문에서는 아이트랙커 실험 결과도 보여주는데 결과가 매우 흥미롭다.

확률기반 패널(probability based panels)이 뭔가요?

  패널이란 의미는 서베이에서 크게 두 가지 의미로 활용된다. 하나는 패널조사에서의 패널이고, 또 다른 하나는 액세스패널에서의 패널이다. 웹조사를 하려면 조사에 응할 수 있는 표집틀이 있어야하는데 이 표집틀이 바로 액세스패널이다. 정말 쉽게 표현하면 조사회사의 회원(?)이라고 생각하면 된다.

  조사회사의 액세스패널은 회사마다 다양한 이름으로 존재한다. 전세계 수많은 조사회사에서 자사의 액세스패널을 보유하고 있다. 대부분의 액세스패널은 비확률표집 방법으로 모집되었다. 대부분 온라인을 통해 모집하기 때문이다.

  그러나 웹조사 패널 중에 확률기반 패널(probability based panels)이 종종 있다. 이 패널은 ABS나 RDD 방식으로 모집되었기 때문에 확률기반이라는 이름이 앞에 붙는다. 한마디로 품질 차원에서 매우 고품질의 패널인 것이다.

  그렇다면 전 세계적으로 확률기반 패널은 몇 종류나 될까? 현재까지는 아래와 같이 8개 정도가 있는 것 같다. 딱 보면 알겠지만 우리나라에는 아직 없다.

웹서베이에서 함정(덫?) 문항(trap questions)이 필요할까?

  자기기입조사인 웹조사의 경우 정직한 응답을 하고 사회적 바람직성에 영향을 덜 받는 장점이 있는 반면, 대면면접조사에 비해 응답자의 인게이지먼트 수준이 낮다는 비판을 받는다. 이러한 단점을 보완하기 위해 고안된 것이 일명 함정(덫?) 문항(trap questions)이다. 문항 앞, 중간, 뒤에 함정 문항을 넣어 응답자가 얼마나 집중하면서 조사에 응하는지를 테스트하는 것이다.

  그렇다면 함정 문항은 정말 응답자의 인게이지먼트 수준을 가늠하는 척도가 될 수 있을까? 이에 대한 최근 논문이 있어 소개하고자한다. 결론적으로 함정 문항에 통과를 못한 응답자의 경우 응답 성실성에 있어 일부 문제가 있다는 것이다.

  참고로 이 논문에서 활용한 함정 문항은 아래와 같다. 쉬운 것도 있고 어려운 것도 있다.

  사실 이러한 함정 문항의 연구는 대부분 마케팅조사 영역에서 이루어지고 있다. 왜 그럴까? 마케팅조사의 설문 문항이 지나치게 길기 때문이다. 함정 문항이 응답의 성실성을 체크할 수 있는 수단이라면 잘 개발하여 웹서베이에 적용하는 것도 좋지만 그 보다는 설문 문항 수를 줄일 생각을 먼저해야하는 거 아닐까?

유니폴라 척도에서 5점 척도란?

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 대체로 만족한다
 3. 보통이다
 4. 별로 만족하지 않는다
 5. 전혀 만족하지 않는다

  우리는 만족도 조사에서 이런 설문을 자주 본다. 대표적인 유니폴라 척도 문항이다. 그런데 이 설문에서 5점 척도를 이런식으로 쓰는 게 맞는걸까? 필자가 보기엔 아니다. 왜냐하면 보통이라는 의미가 모호하기 때문이다. 만족한다와 만족하지 않는다 사이에 논리적으로 무언가가 올 수 없다. 이런 문항의 경우 5점 척도를 유지하고 싶으면 아래와 같이 수정해야한다.

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 어느 정도 만족한다
 3. 조금 만족한다
 4. 별로 만족하지 않는다
 5. 전혀 만족하지 않는다


  반면 아래와 같은 바이폴라 척도 문항은 5점 척도를 쓰는게 맞는걸까? 이런 경우에는 5점 척도가 맞다. 여기서 보통이라는 의미는 만족하지도 불만족하지도 않는다는 중간 상황(mid point)을 의미하기 때문이다. 물론 가능하다면 보통이라는 워딩보다는 만족하지도 불만족하지도 않는다가 좋다.

문. 귀하는 ---에 대하여 얼마나 만족하십니까?
 1. 매우 만족한다
 2. 대체로 만족한다
 3. 보통이다 -> 만족하지도 불만족하지도 않는다
 4. 대체로 불만족한다
 5. 매우 불만족한다

웹조사 PC는 지고, 스마트폰은 뜨고

  한국리서치는 올해 1월부터 웹서베이를 정기적으로 하면서 패널들에게 조사 요청을 이메일과 문자로 동시에 하였다. 패널들이 상황에 맞게 본인이 편한 루트로 들어와 조사를 진행하라는 취지에서 였다.

  그렇다면 패널들은 어떤 디바이스를 통해 주로 조사를 했을까? 지난 6개월치 자료를 분석해본 결과 PC로 웹조사한 비율은 30% 스마트폰으로 조사한 비율은 70%였다.
(참고로 정기조사는 120문항 내외로 응답시간은 평균 19분 정도였음)

  지금까지 스마트폰을 통한 웹조사에 대한 비판(?)이 많았다. 스마트폰으로는 긴 설문을 못할꺼야...PC로 한 것보다 성실성 면에서 떨어질거야 등이 그것이다. 그러나 원자료를 통해 비교해본 결과 디바이스에 따른 차이는 없었다.

  자 이제 결론은 나왔다. 스마트폰 웹조사 시대가 오고 있다. 아니 이미 왔다.

2018년 한국리서치 정기 웹조사 디바이스별 응답비율

	1월	2월	3월	4월	5월	6월
PC	35%	30%	27%	32%	30%	25%
스마트폰	65%	70%	73%	68%	70%	75%
전체	100%	100%	100%	100%	100%	100%

GPS를 통한 조사지점 샘플링?

  기술의 발달을 못 따라가는 분야 중 하나가 서베이 영역이다. 기술이 저만치 가면 그때서야 기웃거리는 형국이다. GPS 기술이 이미 상용화가 되었지만 누구 하나 이 기술을 샘플링에 활용하지 못했다. 이와 관련하여 기초적이지만 학문적으로 검토한 논문이 있어 소개하고자 한다.

  GPS는 조사 지점 리스트(일종의 표집틀)을 가지고 있기 때문에 충분히 조사지점 샘플링 자료로 활용이 가능하다고 본다.