좋은 질문은 ‘맞춤형 옷’과 같다

 

서론: 좋은 질문은 ‘맞춤형 옷’과 같다

설문지를 설계하는 연구자는 종종 편리함의 유혹에 빠집니다. 수십 개의 질문을 만들어야 할 때, 만족도, 중요도, 빈도, 동의 수준 등 전혀 다른 개념들을 모두 ‘매우 그렇다 ~ 전혀 그렇지 않다’라는 단 하나의 ‘만능 척도’에 욱여넣는 것입니다. 이는 마치 모든 사람에게 똑같은 사이즈의 옷을 입으라고 나눠주는 것과 같습니다. 연구자 입장에서는 옷을 준비하기가 매우 편리하지만, 그 옷은 누구에게도 제대로 맞지 않을 것입니다.

설문지 설계 분야의 위대한 스승들인 파울러(Floyd J. Fowler), 서드먼(Seymour Sudman)과 브래드번(Norman M. Bradburn), 그리고 오펜하임(A.N. Oppenheim)은 그들의 저서에서 공통적으로, 좋은 질문이란 응답자의 머릿속에 있는 생각과 경험을 가장 잘 맞는 형태로 꺼내올 수 있도록 각 개념에 맞춰 정교하게 재단된 ‘맞춤형 옷’과 같아야 한다고 강조합니다. 이것이 바로 ‘개별맞춤형’ 척도의 핵심 철학입니다.

1. 우리가 버려야 할 낡은 옷: ‘동의/비동의’ 척도의 원죄

연구자들이 가장 흔하게 사용하는 ‘만능 척도’는 바로 진술형(Agree/Disagree) 질문입니다. 이는 “우리 회사 제품은 혁신적이다”와 같은 진술문을 제시하고, 동의하는 정도를 묻는 방식입니다. 이 방식이 왜 나쁜 옷인지, 세 저자의 통찰을 통해 살펴보겠습니다.

1. 복잡한 인지 과정 요구: 서드먼과 브래드번은 『질문하기(Asking Questions)』에서 응답자가 질문에 답하기까지 거치는 4단계 인지 과정을 설명합니다. 진술형 질문은 이 과정을 불필요하게 복잡하게 만듭니다. 응답자는 (1)진술문을 읽고 해석하고, (2)그에 대한 자기 생각을 떠올리고, (3)자기 생각과 진술문을 비교하여 일치 정도를 판단하고, (4)그 판단을 ‘동의/비동의’라는 추상적 척도에 맞춰 표현해야 합니다. 이 복잡한 과정은 모든 단계에서 오류가 발생할 가능성을 높입니다.

2. 순응 편향(Acquiescence Bias) 유발: 사람들은 질문 내용과 상관없이 ‘네, 맞아요’라고 긍정하려는 심리적 경향이 있습니다. 파울러는 『양질의 설문 질문 설계하기(Designing Quality Survey Questions)』에서 이 순응 편향이 진술형 질문의 가장 심각한 문제점이라고 지적합니다. 결국, 우리는 응답자의 진짜 태도가 아닌, ‘동의하려는 경향성’이라는 노이즈(noise)가 섞인 데이터를 얻게 됩니다.

3. 의미의 모호함: “디자인에 만족한다”는 말에 ‘동의’하는 것과, “디자인에 얼마나 만족하십니까?”라는 질문에 ‘만족’이라고 답하는 것은 같은 말처럼 보이지만, 측정의 정밀도 측면에서는 전혀 다릅니다. 전자는 간접적이고 모호한 반면, 후자는 직접적이고 명확합니다.

2. 최고의 옷을 찾아서: 개별맞춤형 척도의 명쾌함

이러한 진술형 질문의 모든 단점을 극복하는 대안이 바로 ‘개별맞춤형(Item-Specific)’ 질문입니다. 이는 측정하려는 개념의 고유한 속성에 맞춰, 질문과 응답 척도를 각각 다르게 설계하는 방식입니다.

• **만족도(Satisfaction)**를 물을 때:

  • (X) 진술문: “나는 A 서비스의 속도에 만족한다.” [동의/비동의 척도]

  • (O) 개별맞춤형: “A 서비스의 속도에 얼마나 만족하십니까?” [①매우 불만족 ~ ⑤매우 만족]

• **빈도(Frequency)**를 물을 때:

  • (X) 진술문: “나는 한 달에 한 번 이상 A 서비스를 이용한다.” [동의/비동의 척도]

  • (O) 개별맞춤형: “지난 한 달간 A 서비스를 몇 번이나 이용하셨습니까?” [①0회 ②1~2회 ③3~4회 ④5회 이상]

• **중요도(Importance)**를 물을 때:

  • (X) 진술문: “A 서비스의 안정성은 나에게 매우 중요하다.” [동의/비의 척도]

  • (O) 개별맞춤형: “A 서비스를 선택할 때, ‘안정성’은 얼마나 중요합니까?” [①전혀 중요하지 않다 ~ ⑤매우 중요하다]

이처럼 개별맞춤형 척도는 측정하려는 개념과 응답 척도를 직접적으로 연결함으로써, 응답자의 인지적 부담을 줄이고 순응 편향의 위험을 원천적으로 차단합니다.

3. 왜 개별맞춤형 척도가 더 과학적인가?

개별맞춤형 척도가 더 우월한 이유는 명확합니다.

1. 측정 오류의 감소: 파울러가 강조하듯, 좋은 조사의 목표는 ‘측정 오류(measurement error)’를 최소화하는 것입니다. 개별맞춤형 척도는 질문의 의미를 명확히 하고 응답자의 해석 차이를 줄여, 측정의 신뢰도(Reliability)와 타당도(Validity)를 극적으로 높입니다.

2. 인지 과정의 단순화: 응답자는 더 이상 ‘내 생각’과 ‘연구자의 진술’을 비교하는 복잡한 과정을 거칠 필요가 없습니다. 자신의 생각을 가장 잘 표현하는 척도를 직접 선택하면 되므로, 응답 과정이 더 빠르고 정확해집니다.

3. 더 풍부하고 정밀한 데이터: 각 개념의 고유한 특성에 맞는 척도를 사용함으로써, 우리는 더 미묘하고 깊이 있는 차이를 담아내는, 훨씬 더 풍부하고 정밀한 데이터를 얻을 수 있습니다.

결론: 연구자의 수고와 데이터 품질의 맞교환

오펜하임(Oppenheim)이 『설문지 설계(Questionnaire Design)』에서 지적했듯, 설문지 설계는 보이지 않는 곳에서 이루어지는 수많은 세심한 결정들의 총합입니다.

개별맞춤형 척도를 설계하는 것은 분명 연구자에게 더 많은 수고와 노력을 요구합니다. 하지만 그 수고는, 우리가 최종적으로 얻게 될 데이터의 품질과 통찰의 깊이라는 엄청난 보상으로 되돌아옵니다. 연구자의 작은 편의를 위해 ‘만능 척도’라는 낡은 옷을 고집하는 것은, 결국 우리 자신과 우리가 풀고자 하는 문제의 진실을 속이는 일이 될 수 있습니다.

따라서 좋은 질문을 만들고자 하는 우리 모두는, **‘어떻게 하면 더 쉽게 물을까’가 아니라, ‘어떻게 하면 응답자가 더 정확하게 답할 수 있을까’**를 항상 최우선으로 고민해야 합니다. 그 고민의 끝에, 바로 개별맞춤형 척도라는 가장 과학적이고 정직한 해답이 기다리고 있을 것입니다.