진술형(agree/disagree) 문항 vs 개별맞춤(item-specific) 문항

   우선 두 개의 비슷한 문항을 소개하고자 한다.

케이스1
문. 다음 진술에 얼마나 동의하십니까? '나는 평소에 정치에 관심이 있다'
1. 매우 그렇다
2. 대체로 그렇다
3. 별로 그렇지 않다
4. 전혀 그렇지 않다

케이스2
문. 귀하께서는 평소에 정치에 어느정도 관심이 있습니까?
1. 매우 관심이 있다
2. 약간 관심이 있다
3. 별로 관심이 없다
4. 전혀 관심이 없다

  뭐 똑같은거 아니야라고 생각한다면 큰 오산이다. 케이스1과 같은 A/D 문항보다 케이스2와 같은 IS 문항이 응답자 집중도 면이나 응답의 신뢰성 면에서 더 낫다고 한다. 아래 논문 실험 결과를 보면 명확하다. 이 논문에서는 아이트랙커 실험 결과도 보여주는데 결과가 매우 흥미롭다.

확률기반 패널(probability based panels)이 뭔가요?

  패널이란 의미는 서베이에서 크게 두 가지 의미로 활용된다. 하나는 패널조사에서의 패널이고, 또 다른 하나는 액세스패널에서의 패널이다. 웹조사를 하려면 조사에 응할 수 있는 표집틀이 있어야하는데 이 표집틀이 바로 액세스패널이다. 정말 쉽게 표현하면 조사회사의 회원(?)이라고 생각하면 된다.

  조사회사의 액세스패널은 회사마다 다양한 이름으로 존재한다. 전세계 수많은 조사회사에서 자사의 액세스패널을 보유하고 있다. 대부분의 액세스패널은 비확률표집 방법으로 모집되었다. 대부분 온라인을 통해 모집하기 때문이다.

  그러나 웹조사 패널 중에 확률기반 패널(probability based panels)이 종종 있다. 이 패널은 ABS나 RDD 방식으로 모집되었기 때문에 확률기반이라는 이름이 앞에 붙는다. 한마디로 품질 차원에서 매우 고품질의 패널인 것이다.

  그렇다면 전 세계적으로 확률기반 패널은 몇 종류나 될까? 현재까지는 아래와 같이 8개 정도가 있는 것 같다. 딱 보면 알겠지만 우리나라에는 아직 없다.

웹서베이에서 함정(덫?) 문항(trap questions)이 필요할까?

  자기기입조사인 웹조사의 경우 정직한 응답을 하고 사회적 바람직성에 영향을 덜 받는 장점이 있는 반면, 대면면접조사에 비해 응답자의 인게이지먼트 수준이 낮다는 비판을 받는다. 이러한 단점을 보완하기 위해 고안된 것이 일명 함정(덫?) 문항(trap questions)이다. 문항 앞, 중간, 뒤에 함정 문항을 넣어 응답자가 얼마나 집중하면서 조사에 응하는지를 테스트하는 것이다.

  그렇다면 함정 문항은 정말 응답자의 인게이지먼트 수준을 가늠하는 척도가 될 수 있을까? 이에 대한 최근 논문이 있어 소개하고자한다. 결론적으로 함정 문항에 통과를 못한 응답자의 경우 응답 성실성에 있어 일부 문제가 있다는 것이다.

  참고로 이 논문에서 활용한 함정 문항은 아래와 같다. 쉬운 것도 있고 어려운 것도 있다.

  사실 이러한 함정 문항의 연구는 대부분 마케팅조사 영역에서 이루어지고 있다. 왜 그럴까? 마케팅조사의 설문 문항이 지나치게 길기 때문이다. 함정 문항이 응답의 성실성을 체크할 수 있는 수단이라면 잘 개발하여 웹서베이에 적용하는 것도 좋지만 그 보다는 설문 문항 수를 줄일 생각을 먼저해야하는 거 아닐까?