2019년 10월 29일 화요일

웹조사 연속척도 다음에 모르겠다나 해당없음을 그냥 붙여도 될까요?

웹조사 응답자들의 인지 과정 중 보기를 볼 때 가운데 지점(mid-point)에 더 집중하고 더 응답하는 경향이 있다는 것은 익히 알고 있는 사실이다.

이 논문은 이에 대해 실험조사를 한 것으로 이러한 가설을 검증하였다는 점에서 의미가 크다. 아이트랙커를 활용하여 실제 눈이 머문 시간까지 측정했다고 하니 놀라울 따름이다.



조금 더 자세히 보자.

아래 설문은 보통 많이 활용하는 방식이다. 5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것이다. 문제는 이렇게 배치하면서 중간포인트가 Too little이 되었다는 데 있다.

위 문항과 비교했을 때 아래 문항은 모르겠다와 의견 없음을 공간적으로 분리하면서 중간포인트가 About the right amount가 되었다.


아래 문항은 위 문항과 비슷한데 공간이 아닌 선으로 구분을 하였다. 역시 중간포인트가 About the right amount가 되었다.

그렇다면 위 세 개의 문항은 어떤 차이를 보였을까?

우선 응답 경향을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것)와 두 번째(모르겠다와 의견 없음을 공간적으로 분리) 문항에서 4번 Too little에 더 많이 응답한 것을 볼 수 있다. 반면 세 번째(모르겠다와 의견 없음을 선으로 구분)는 4번 문항에 상대적으로 적게 응답하였다.
중간포인트인 3번 About the right amount는 세 번째 조건에서 가장 많이 응답하였다.



모르겠다와 의견 없음에 집중한 시간을 보면 첫 번째(5점 척도이후 모르겠다와 의견 없음을 이어 붙인 것) 문항에서 가장 길었고, 다음으로 두 번째(모르겠다와 의견 없음을 공간적으로 분리), 세 번째(모르겠다와 의견 없음을 선으로 구분) 문항 순이었다. 단 그 차이는 통계적으로 유의하지 않았다.

이 논문에서는 세 가지 포맷의 문항 중 뭐가 가장 적합하다는 결론을 내지는 않고 그냥 응답값이 다를 수 있다 정도로 마무리하고 있다. 그러나 필자가 볼 때는 세 번째 즉 5점 척도이후 모르겠다와 의견 없음을 선으로 구분하는 포맷이 가장 적합한 응답을 받는 것이라는 생각이 든다.

2019년 4월 9일 화요일

Vague Quantifiers vs Numeric Response Options

자주, 많이 등과 같은 Quantifiers(수량사)는 설문 보기에서도 많이 등장한다.

문. 귀하께서는 지난 한달동안 종이신문을 얼마나 자주 읽으셨습니까?
1. 매우 자주
2. 자주
3. 때때로
4. 아주 가끔
5. 전혀 읽지 않음

위와 같은 보기를 Vague Quantifiers options(모호한 수량사 보기???)라 하는데 사실 이런 보기는 별로 좋지 않은 것이라고만 생각했다. 이런 보기보다는 명확한 Numeric Response Options이 더 좋다는 것이다. 이런 기준으로 위 설문을 바꾸면 아래와 같다.

문. 귀하께서는 지난 한달동안 종이신문을 얼마나 자주 읽으셨습니까?
1. 거의 매일
2. 1주일에 4-5일
3. 1주일에 3-4일
4. 1주일에 1-2일
5. 2주일에 1-2일
6. 3주일에 1-2일
7. 한달에 1-2일
8. 전혀 읽지 않음

그러나 Vague Quantifiers options이 Numeric Response Options보다 낫다는 주장을 하는 논문이 꽤 많았다. 특히 변수간 관계나 영향력에 있어 Vague Quantifiers options이 더 크다는 것은 한 번 쯤 생각해볼 중요한 함의를 가지고 있다고 생각한다.