패널대상 웹조사에서 뭔가 가지고 있는지 혹은 해본적 있는지 먼저 물어보면 안되는 이유

 웹조사는 다른 조사와 달리 조사에 정기적으로 참여하는 패널들을 대상으로 조사를 하는 것이 일반적이다. 그러나 보니 이들은 조사를 일종의 게임과 같이 생각하는 경향이 있는 것 같다. 그래서 초반에 조사 대상에서 제외되는 것에 대해 매우 싫어한다. 그래서 가급적 조사 대상에서 제외되지 않게 하기 위해 뭔가를 가지고 있냐고 물어보면 그렇다고 하고, 뭔가를 해본적이 있냐고 하면 그렇다고 답할 경향성이 높다. 일종의 거짓말을 하는 것이다.

 예를 들어 최근 한달간 홍삼을 먹어본 적 있냐고 물어보면 패널들은 이 조사는 홍삼을 먹어본 사람들에게 뭔가를 물어보겠구나 하고 먹어봤다고 거짓말을 할 개연성이 크다. 지난 한 달간 책을 읽었냐는 질문도 마찬가지일 것이다.

 그렇다면 이런 바이어스를 어떻게 막아야할까?

 우선, 보유나 행태를 묻는 질문을 가급적 맨 앞에 배치하는 것을 피해야한다.

 다음으로, 보유나 행태를 묻는 질문에 노우라고 답해도 질문은 계속되고 인센티브도 동일하게 준다는 사실을 강조해서 알려야한다.

 마지막으로, 행태나 보유 문항을 질문할 때 다른 항목들을 복수로 물어 패널들이 조사 의도를 파악하지 못하도록 일종의 페이크를 써야한다. 예를 들면 홍삼 복용 경험을 묻고 싶으면 비타민 등 다른 건강식품의 복용여부까지 같이 물어 물타기(?)를 하는 것이 좋다.