길어도 너무 긴 웹설문의 정확도를 높이려면?

 길어도 너무 긴 설문이 응답의 정확성을 저해한다는 증거는 의외로 적다. 착각하면 안되는게 그렇다고 없다는 건 아닌거다. 사실 이런 주제는 리서처들이 별로 좋아하지 않는다. 왜냐하면 많은 문항을 한 번에 조사하는 것이 경제적이기 때문이다.

 그러나 직관적으로 너무 긴 설문에서 뒤에 배치된 문항의 정확성은 떨어질 수 밖에 없다. 모르시겠다면 40분짜리 웹조사를 한 번 해보면 알게된다.

 이번 논문은 길어도 너무 긴 설문의 정확성을 높이기 위한 솔루션을 제시해준다. 친절하게도 실험조사를 하여 그 증거까지 제시해주고 있다.

 결과적으로 설문문항을 쪼개란 것이다. 사실 설문지를 쪼개는 방법은 두 가지가 있다. 우선 선 쉽게 할 수 있는 것은 설문의 파트를 두개로 나누는 것이다. 즉 1번부터 100번까지를 한 파트, 101번부터 200번까지를 다른 파트로 나누는 것이다. 그러나 이 논문에서 제시한 방법은 이 방법이 아니다. 문항마다 랜덤하게 응답자를 선정하는 것이다. 즉 어떤 응답자는 1번, 3번, 5번을 응답하게 되고 또 다른 응답자는 1번, 2번, 4번을 응답하게 되는 것이다.

 긴 설문은 해야겠고, 응답의 정확성도 포기할 수 없는 연구자의 경우 이 방법을 사용할 법하다. 나는 첫 번째로 설명한 쪼개기(1부와 2부로 나누는 것)도 시도할만 하다고 본다. 물론 아직 증거는 없다.