웹조사 연속척도 다음에 모르겠다나 해당없음을 그냥 붙여도 될까요?

웹조사 응답자들의 인지 과정 중 보기를 볼 때 가운데 지점(mid-point)에 더 집중하고 더 응답하는 경향이 있다는 것은 익히 알고 있는 사실이다.

이 논문은 이에 대해 실험조사를 한 것으로 이러한 가설을 검증하였다는 점에서 의미가 크다. 아이트랙커를 활용하여 실제 눈이 머문 시간까지 측정했다고 하니 놀라울 따름이다.

조금 더 자세히 보자.

아래 설문은 보통 많이 활용하는 방식이다. 5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것이다. 문제는 이렇게 배치하면서 중간포인트가 Too little이 되었다는 데 있다.

위 문항과 비교했을 때 아래 문항은 모르겠다와 의견 없음을 공간적으로 분리하면서 중간포인트가 About the right amount가 되었다.

아래 문항은 위 문항과 비슷한데 공간이 아닌 선으로 구분을 하였다. 역시 중간포인트가 About the right amount가 되었다.

그렇다면 위 세 개의 문항은 어떤 차이를 보였을까?

우선 응답 경향을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것)와 두 번째(모르겠다와 의견 없음을 공간적으로 분리) 문항에서 4번 Too little에 더 많이 응답한 것을 볼 수 있다. 반면 세 번째(모르겠다와 의견 없음을 선으로 구분)는 4번 문항에 상대적으로 적게 응답하였다.
중간포인트인 3번 About the right amount는 세 번째 조건에서 가장 많이 응답하였다.

모르겠다와 의견 없음에 집중한 시간을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것) 문항에서 가장 길었고, 다음으로 두 번째(모르겠다와 의견 없음을 공간적으로 분리), 세 번째(모르겠다와 의견 없음을 선으로 구분) 문항 순이었다. 단 그 차이는 통계적으로 유의하지 않았다.

이 논문에서는 세 가지 포맷의 문항 중 뭐가 가장 적합하다는 결론을 내지는 않고 그냥 응답값이 다를 수 있다 정도로 마무리하고 있다. 그러나 필자가 볼 때는 세 번째 즉 5점 척도이후 모르겠다와 의견 없음을 선으로 구분하는 포맷이 가장 적합한 응답을 받는 것이라는 생각이 든다.