"몇 개 문항까지 가능한가요?" 이다.
문항을 만들다 보면 당연히 많아지고 줄이는 것도 큰 일이므로 크게 줄이지 않고 하고 싶은게 인지상정인지라 이런 질문을 할 수 밖에 없다는 거 이해한다.
몇 문항을 물을 수 있다는 법칙은 당연히 없다. 그래도 나름의 경험으로 문항 수로 딱 말하기는 어렵고 가급적 20분을 넘지 않아야한다고 고객에게 대답한다.
그러나 조금만 더 깊이 생각해보면 응답 시간에 영향을 주는 건 문항 수만은 아니다. 문항 수만큼 중요한 것이 문항의 난이도일 것이다.
그래서 구글링으로 자료를 찾아봤다. 역시나 있었다. Shorter Isn’t Always Better라는 발표 자료이고, Inna Burdein이란 메소돌로지스트가 2013년 작성한 것이다. 아래 그래프를 보면 36개 문항의 쉬운 설문의 응답시간과 24개의 어려운 설문의 응답 시간이 거의 비슷하다는 걸 알 수 있다.
좀더 자세한 내용은 아래 사이트를 참조:
https://c.ymcdn.com/sites/www.casro.org/resource/collection/0A81BA94-3332-4135-97F6-6BE6F6CEF475/Presentation_-_Inna_Burdein_-_The_NPD_Group.pdf
응답 시간 뿐만 아니라 응답율 역시 36개 문항의 쉬운 설문과 24개의 어려운 설문이 비슷하였다.
또 하나 의미 있는 것은 15분이 넘어가면 실제 응답 시간보다 응답자가 지각하는 응답시간이 훨씬 짧아진다는 것이다. 실제 45분이 걸린 설문이라도 응답자들은 23분이나 26분 정도 걸린 것으로 착각하고 있었다. 이런 결과로 응답자들의 응답 최대치가 30분 정도이지 않을까 하는 생각을 해본다.
결론적으로 이상적인 응답시간, 최대 응답시간, 최대 문항 수 이런 건 알 수가 없다. 원칙적으로 쉽고 짧은 설문이 가장 좋을 것이다. 그러나 현실적으로 무작정 이 원칙을 지킬 수는 없다. 그러므로 최대한 설문을 쉽게 만들고, 문항 수도 최대한 줄이려는 노력이 필요할 뿐이다.
