‘복사-붙여넣기’의 유혹: 모든 질문에 동일한 척도를 쓰는 함정

6월 30, 2025

서론: ‘복사-붙여넣기’의 유혹, 모든 질문에 동일한 척도를 쓰는 함정

설문지를 설계하다 보면, 특히 여러 항목을 표(Matrix) 형태로 물어볼 때, 모든 질문에 동일한 응답 척도를 적용하고 싶은 유혹에 빠지기 쉽습니다. ‘만족도’, ‘이용 빈도’, ‘중요도’, ‘추천 의향’ 등 전혀 다른 개념들을 모두 ‘~라고 하는 진술에 얼마나 동의하십니까?’라는 틀에 욱여넣는 것입니다. 이렇게 하면 설문지가 외형적으로는 가지런하고 통일성 있어 보이며, 연구자가 질문을 만들기도 매우 편리합니다.

하지만 이는 **연구자의 편의를 위해 응답자의 정확한 답변을 희생시키는, 전형적인 ‘나쁜 설계’**입니다. 마치 모든 사람에게 똑같은 사이즈의 옷을 입으라고 강요하는 것과 같습니다. 당연히 어떤 사람에게는 옷이 너무 크고, 어떤 사람에게는 너무 작아 누구에게도 제대로 맞지 않을 것입니다. 척도 역시 마찬가지입니다. 각 질문의 고유한 속성에 맞는 ‘맞춤형 척도’를 사용하지 않으면, 우리는 왜곡되고 둔감해진 데이터만을 얻게 될 뿐입니다.

1. 왜 이런 방식이 사용될까?: 연구자의 ‘편의성’이라는 달콤함

그렇다면 왜 이런 좋지 않은 설계 방식이 여전히 널리 사용될까요? 그 이유는 순전히 연구자의 편의성 때문입니다.

설계의 단순함: 20개의 항목을 측정해야 할 때, 20개의 각기 다른 질문과 척도를 개발하는 것은 많은 노력을 요구합니다. 하지만 ‘나는 ~에 만족한다’, ‘나는 ~를 자주 이용한다’와 같은 진술문 20개를 만들고, 여기에 ‘동의/비동의’ 5점 척도 하나만 복사해서 붙여넣는 것은 매우 쉽고 빠릅니다.
시각적 통일성: 특히 여러 항목을 하나의 표 안에 넣어 보여주는 그리드(Grid) 문항의 경우, 모든 항목이 동일한 척도를 공유하면 표가 깔끔하고 가지런해 보입니다.

하지만 이러한 연구자의 편의성은, 응답자에게는 인지적 부담을, 데이터에게는 심각한 편향을 전가하는 대가를 치르게 됩니다.

2. 첫 번째 원죄: ‘네, 동의합니다’의 덫, 순응 편향의 확산

모든 질문을 ‘동의/비동의’ 척도로 통일할 때 발생하는 가장 심각한 문제는, 앞서 논의했던 ‘순응 편향(Acquiescence Bias)’을 모든 문항으로 확산시킨다는 점입니다.

사람들은 질문 내용과 무관하게 ‘동의’하는 쪽으로 답하려는 심리적 경향이 있습니다. 만약 우리가 측정하려는 모든 개념(만족도, 빈도, 중요도, 의향 등)을 전부 ‘~에 동의하십니까?’라는 질문으로 바꾼다면, 우리는 모든 측정값에 체계적으로 ‘동의 편향’이라는 오염 물질을 주입하는 것과 같습니다. 이는 데이터 전체의 신뢰도를 근본적으로 파괴하는 행위이며, 마치 모든 음식에 똑같은 조미료를 과하게 뿌려 원래의 맛을 모두 잃게 만드는 것과 같습니다.

3. 두 번째 원죄: 개념의 고유성을 무시한 ‘측정의 둔감화’

모든 개념에는 그에 맞는 ‘최적의 자’가 있습니다. 키는 cm로, 무게는 kg으로 재야 정확하듯, 설문의 각 개념도 그에 맞는 고유한 척도로 물어야 가장 정확하고 정밀한 데이터를 얻을 수 있습니다. 모든 것을 ‘동의/비동의’라는 하나의 자로 재려는 시도는 **‘측정의 둔감화’**를 야기합니다.

[나쁜 예시 vs. 좋은 예시]

이용 빈도(Frequency) 측정
- 나쁜 예: 진술문: “나는 A 서비스를 자주 이용한다.” [전혀 동의하지 않음 ~ 매우 동의함]
  - (문제점: ‘자주’의 기준이 모호하며, ‘동의’라는 간접적인 방식으로 물어 정확성이 떨어짐)
- 좋은 예: 질문: “귀하는 지난 한 달간 A 서비스를 몇 번이나 이용하셨습니까?” [0회 / 1~2회 / 3~4회 / 5회 이상]
  - (장점: 실제 ‘행동’을 구체적인 ‘횟수’로 직접 측정하여 명확하고 객관적인 데이터를 얻음)
추천 의향(Likelihood) 측정
- 나쁜 예: 진술문: “나는 B 제품을 친구에게 추천할 의향이 있다.” [전혀 동의하지 않음 ~ 매우 동의함]
  - (문제점: ‘의향이 있다’는 말에 동의하는 것과, 실제 추천할 ‘가능성’의 정도는 다름)
- 좋은 예: 질문: “귀하께서는 B 제품을 친구나 동료에게 추천할 가능성이 얼마나 되십니까?” [전혀 그럴 가능성이 없다(0점) ~ 반드시 그럴 것이다(10점)]
  - (장점: ‘가능성’이라는 개념을 그에 맞는 0~10점 척도로 직접 측정하여 더 정밀한 데이터를 얻음)

이처럼, 각 개념의 고유한 특성에 맞는 ‘개별맞춤형(Item-specific)’ 척도를 사용하는 것이 훨씬 더 정확하고 풍부한 데이터를 제공합니다.

4. 세 번째 원죄: 응답의 피로와 ‘일자찍기’ 유발

긴 표(Grid) 안에 수많은 진술문을 나열하고, 모두 똑같은 ‘동의/비동의’ 척도로 답하게 하는 방식은 응답자를 매우 쉽게 지치게 만듭니다.

응답자는 처음 몇 개의 질문에는 성실히 답하다가도, 똑같은 형식의 질문과 척도가 반복되면 흥미를 잃고 기계적으로 응답하기 시작합니다. 특히 모바일 화면에서 작은 글씨의 표를 보며 응답하는 것은 상당한 피로감을 유발합니다. 그 결과, 응답자는 질문 내용을 제대로 읽지 않고 모든 항목에 동일한 점수를 찍는 **‘일자찍기(Straight-lining)’**를 할 가능성이 매우 높아집니다. 결국, 연구자의 ‘설계의 게으름’이 응답자의 ‘응답의 게으름’을 유발하는 셈입니다.

결론: 좋은 질문에는 ‘맞춤형 척도’가 필요하다

결론적으로, 모든 질문에 ‘그렇다/그렇지 않다’ 식의 동일한 척도를 일괄적으로 적용하는 것은, 연구자의 편의를 위해 데이터의 품질을 희생하는 매우 나쁜 습관입니다. 이는 순응 편향을 확산시키고, 측정의 정밀성을 떨어뜨리며, 응답자의 피로를 가중시켜 데이터 전체를 오염시키는 주범이 될 수 있습니다.

좋은 설문 설계는 ‘맞춤형 양복’을 짓는 것과 같습니다. 고객(응답자)의 신체(측정 개념) 치수를 정확히 재고, 그에 맞는 최적의 옷감(척도)을 선택하여 가장 잘 맞는 옷(질문)을 만들어야 합니다.

따라서 우리는 ‘복사-붙여넣기’의 유혹을 단호히 거부해야 합니다. 만족도는 ‘불만족-만족’ 척도로, 중요도는 ‘중요하지 않음-중요함’ 척도로, 빈도는 ‘전혀-자주’ 혹은 횟수 척도로, 가능성은 ‘가능성 없음-가능성 높음’ 척도로, 각각의 개념에 맞는 ‘맞춤형 척도’를 설계하는 수고를 아끼지 말아야 합니다. 연구자가 기울이는 약간의 추가적인 노력은, 데이터의 신뢰도와 통찰의 깊이라는 엄청난 보상으로 되돌아올 것입니다.

메소드서베이