믹스 모드 서베이(Edith de Leeuw)

설문 보기 균형 맞추기(Balancing response options)

설문지 작성 시 보기의 균형을 맞추는 것은 가장 기본적인 일이다.

예를 들어 아래 문항은 분명히 잘못된 것이다.

문. 귀하께서는 A항공 서비스에 대해 얼마나 만족하십니까?
1. 전적으로 만족
2. 상당히 만족
3. 조금 만족
4. 중간
5. 불만족

보통은 이런 식으로 고쳐서 사용한다.

문. 귀하께서는 A항공 서비스에 대해 얼마나 만족하십니까?
1. 매우 만족
2. 약간 만족
3. 중간
4. 야간 불만족
5. 매우 불만족

그러나 모든 문항에 균형을 반드시 맞출 필요는 없다. 예를 들어 다음과 같은 문항을 보자.

귀하께서는 다음의 정부 정책이 얼마나 중요하다고 생각하십니까?

문. 사회양극화 해소 정책
1. 최우선으로 할 만큼 중요하다
2. 중요하지만 최우선 정책은 아니다
3. 약간 중요한 정도이다
4. 그다지 중요한 것은 아니다

위 문항을 균형을 맞춘다고 아래처럼 바꾸는게 좋은 것일까?

문. 사회양극화 해소 정책
1. 매우 중요하다
2. 상당히 중요하다
3. 별로 중요하지 않다
4. 전혀 중요하지 않다

경험상 당연히 필요한 정책과 같은 중요도를 균형 맞춘 보기로 물어볼 경우 매우 중요하다는 비율만 너무 많이 나와 분석에 있어 그다지 차별성을 못 주는 경우가 많다. 예를 들어 위 설문은 사회양극화 해소 정책만 물어봤지만, 다른 중요한 정책 몇 가지를 동일하게 물어봐 정책별 중요성을 알아야하는 경우라면 아마 균형을 맞춘 보기로는 정책별 차별성을 파악하기 어려울 수 있다.

보기의 균형은 당연히 중요하고 지켜져야한다. 그러나 무조건 신봉해야할 법칙은 아니다.

웹조사의 미래: 믹스디바이스 웹조사를 중심으로

미디어 이용 시간 문항 어떻게 묻는게 좋을까요?

올 초에 2018 언론수용자 의식조사 보고서가 발간되자 마자 읽고난 후 미디어 시간 측정에 대해 부정적인 의견을 피력한 적이 있다. 그 때 나는 요새는 미디어 시간을 직접 측정하는 설문이 없다고 생각했었다. 그러나 조금 더 자료를 찾다보니 영국의 오프컴 발간 미디어 이용조사에서 미디어 이용시간을 측정 문항이 있었다.

그러나 중요한 건 성인조사(https://www.ofcom.org.uk/research-and-data/media-literacy-research/adults/adults-media-use-and-attitudes)에서는 그 문항이 없고, 15세이하 아이들 조사(https://www.ofcom.org.uk/research-and-data/media-literacy-research/childrens/children-and-parents-media-use-and-attitudes-report-2018)에만 있었다는 점이다.

과연 왜 그럴까? 내가 내린 결론은 아마도 학교 다니는 아이들의 경우 생활이 규칙적이고 미디어 이용 시간이 정해져있어(규제되고 있어) 이용 시간 응답을 하는데 있어 상대적으로 쉽기 때문이 아닐까 하는 것이다. 반면 성인의 경우에는 미디어 이용 시간대가 학생에 비해 불규칙하고 그 시간도 그때그때 달라 기억에 의존하여 응답하는 것이 어렵다고 판단한 듯 하다.

또 하나 여기서 얻을 수 있었던 것은 어제나 지난 1주일이나 한달 기준이 아닌 평소 기준으로 미디어 이용 시간을 물어봤다는 것이다. 설문지 교과서들을 보니 정확하게 기억하기 어려운 시간 설문의 경우 기준점을 짤게 하면 할수록 바이어스가 커진다고 한다.

출처: Asking Questions: The Definitive Guide to Questionnaire Design 67페이지

이용 시간 문항에 대한 고민을 석 달 정도 했는데 이쯤에서 대략 이렇게 결론내고 마무리하려고 한다.

1. 기억에 의존하여 정확한 응답을 받기 어려운 일상적 행위에 대한 시간 측정 문항은 가급적 최소화한다.

   (특별한 행위의 경우에는 물론 가능)

2. 그래도 측정해야한다면 어제, 지난 주, 지난 한달 등으로 하기보다는 '평소'로 묻는 것이 좋다.
(사실 난 지금까지 '어제' 주의자였다. 퓨리서치 미디어 소비조사에서 그렇게 물은 걸 봤기에...아 혼란스러)

3. 이용 시간을 길게(행위마다 다르겠지만 텔레비전 시청시간의 경우 7시간 이상으로 답하는 경우) 응답한 사람에게는 그 응답이 맞는지 확인하는 절차가 필요하다.

시카고대학여론조사센터(NORC)와 퓨리서치센터(Pew Research Center)의 이유 있는 변신

시카고대학여론조사센터(NORC)와 퓨리서치센터(Pew Research Center)는 사회조사 품질 제고를 주도한 대표적인 서베이 기관이다. 이 두 기관에서 최근 서베이 방법론에 있어 의미 있는 변화가 감지되고 있다. 그 변화는 바로 패널 구축을 통한 웹조사의 확대이다.

사례1. 아메리스피크(https://amerispeak.norc.org/Pages/default.aspx)

사례2. 아메리칸트렌드패널(http://www.pewresearch.org/methods/2019/02/27/growing-and-improving-pew-research-centers-american-trends-panel/)

두 조사 모두 패널을 확률표집을 통해 모집하였고, 조사방법은 멀티(웹, 전화, 우편 등)로 하고 있다. 그러나 최근 멀티 조사 방법 내에서 웹조사가 차지하는 비율의 거의 90%를 넘는 것으로 보고하고 있다.

퓨리서치는 최근 패널 대상 웹조사의 증가를 하나의 트렌드로 보고 보고서까지 작성하였다. 그 이유는 바로 대다수를 차지하던 전화조사의 응답율이 지속적으로 하락하여 6%대로 다달았다는 것이다. 이는 임의걸기전화 방식의 조사를 수행하는 것이 더 어려워졌고, 비용이 더 많이 들었음을 의미한다. 그 외에 민감한 질문에 대해 웹조사가 전화조사보다 더 정직한 대답을 하는 경향을 발견했기 때문이다.

두 사례를 볼 때 앞으로 조사의 길은 어느 정도 정해졌다고 해도 과언이 아니다. 양질의 패널을 지속적으로 확보하고, 웹조사 과정에서 원칙을 최대한 지키는 것이 바로 그것이다.

웹조사 시 몇 개 문항까지 조사 가능한가요? (1탄)

웹조사를 할 때 고객에게 가장 많이 받는 질문 중 하나는 바로
"몇 개 문항까지 가능한가요?" 이다.

문항을 만들다 보면 당연히 많아지고 줄이는 것도 큰 일이므로 크게 줄이지 않고 하고 싶은게 인지상정인지라 이런 질문을 할 수 밖에 없다는 거 이해한다.

몇 문항을 물을 수 있다는 법칙은 당연히 없다. 그래도 나름의 경험으로 문항 수로 딱 말하기는 어렵고 가급적 20분을 넘지 않아야한다고 고객에게 대답한다.

그러나 조금만 더 깊이 생각해보면 응답 시간에 영향을 주는 건 문항 수만은 아니다. 문항 수만큼 중요한 것이 문항의 난이도일 것이다.

그래서 구글링으로 자료를 찾아봤다. 역시나 있었다. Shorter Isn’t Always Better라는 발표 자료이고, Inna Burdein이란 메소돌로지스트가 2013년 작성한 것이다. 아래 그래프를 보면 36개 문항의 쉬운 설문의 응답시간과 24개의 어려운 설문의 응답 시간이 거의 비슷하다는 걸 알 수 있다.

좀더 자세한 내용은 아래 사이트를 참조:
https://c.ymcdn.com/sites/www.casro.org/resource/collection/0A81BA94-3332-4135-97F6-6BE6F6CEF475/Presentation_-_Inna_Burdein_-_The_NPD_Group.pdf

응답 시간 뿐만 아니라 응답율 역시 36개 문항의 쉬운 설문과 24개의 어려운 설문이 비슷하였다.

이 발표 자료에서는 문항 수와 난이도별로 일자 찍기 비율도 보여주고 있는데, 흥미롭게도 20분 조금 더 걸렸고 응답율도 비슷했던 36개 문항의 쉬운 설문과 24개의 어려운 설문이었지만 일자찍기에서는 2배 가까이 차이가 났다. 이는 일자찍기의 경우 응답시간보다는 문항 수에 더 영향이 있다는 것을 알 수 있다.

또 하나 의미 있는 것은 15분이 넘어가면 실제 응답 시간보다 응답자가 지각하는 응답시간이 훨씬 짧아진다는 것이다. 실제 45분이 걸린 설문이라도 응답자들은 23분이나 26분 정도 걸린 것으로 착각하고 있었다. 이런 결과로 응답자들의 응답 최대치가 30분 정도이지 않을까 하는 생각을 해본다.

결론적으로 이상적인 응답시간, 최대 응답시간, 최대 문항 수 이런 건 알 수가 없다. 원칙적으로 쉽고 짧은 설문이 가장 좋을 것이다. 그러나 현실적으로 무작정 이 원칙을 지킬 수는 없다. 그러므로 최대한 설문을 쉽게 만들고, 문항 수도 최대한 줄이려는 노력이 필요할 뿐이다.