“어떻게 답하시겠어요?” 응답자에게 모드 선택권을 주는 조사, 과연 최선일까?

 

서론: 응답자 중심주의, 새로운 조사 방식의 등장

2025년, 우리는 그 어느 때보다 개인화된 시대를 살고 있습니다. 나의 취향에 맞는 콘텐츠를 추천받고, 내가 원하는 시간에 물건을 배송받는 것이 당연해졌습니다. 이러한 ‘사용자 중심’의 흐름은 설문조사의 세계에도 새로운 질문을 던지고 있습니다. “왜 조사 방식은 연구자가 일방적으로 결정해야 하는가? 응답자에게 직접 물어보면 안 될까?”

여기서 출발한 것이 바로 ‘응답자 선택형 혼합모드(Respondent-Driven Mixed-Mode)’ 조사입니다. 응답자에게 직접 연락하여, “전화, 웹, 대면조사 중 어떤 방식이 가장 편하십니까?”라고 묻고, 그들이 원하는 방식으로 조사를 진행하는 것입니다. 이는 응답자를 존중하고 참여율을 극대화하려는 매우 진보적인 시도처럼 보입니다. 하지만 이 매력적인 선택권은, 데이터의 품질이라는 측면에서 ‘판도라의 상자’를 여는 것일 수도 있습니다.

선택의 명분: 응답률을 높이는 가장 확실한 방법?

이 방법론을 지지하는 가장 강력한 명분은 단연 **‘응답률 제고’**와 **‘포괄성(Inclusiveness)’**입니다.

사람들은 각자 선호하고 편안함을 느끼는 소통 방식이 다릅니다. 어떤 사람은 전화 통화를 극도로 기피하는 반면, 어떤 사람은 웹 링크를 스팸으로 여기거나 디지털 기기 사용에 서툽니다. 특히, 조사 대상이 다양한 집단으로 구성되어 있을 때 이 전략의 힘은 극대화됩니다.

예를 들어, ‘노인 일자리 지원 사업’의 효과를 측정하기 위해, 사업을 운영하는 젊은 실무자, 일자리를 제공하는 기업의 중년 담당자, 정책을 관리하는 고위 공무원 등 다양한 사람을 조사해야 한다고 가정해 봅시다. 이들에게 단 하나의 방식을 강요한다면, 특정 그룹의 응답률은 현저히 떨어질 것입니다. 하지만 각자에게 선택권을 줌으로써, 우리는 모든 그룹의 참여 장벽을 낮추고, 더 많은 목소리를 조사 안으로 끌어들일 수 있습니다. 이는 응답률 저하로 인해 발생하는 ‘비응답 편향(Non-response Bias)’을 막는 가장 현실적이고 강력한 무기가 될 수 있습니다.

통계학자의 딜레마: ‘선택 편향’과 ‘모드 효과’라는 쌍둥이 악마

하지만 응답자에게 ‘선택권’을 주는 순간, 통계학자들은 깊은 딜레마에 빠집니다. 바로 **‘선택 편향(Selection Bias)’**과 **‘모드 효과(Mode Effect)’**라는 두 개의 오류가 서로 뒤엉켜, 무엇이 원인이고 무엇이 결과인지 구분할 수 없는 상태가 되어버리기 때문입니다.

1. 선택 편향: 가장 근본적인 문제입니다. 웹조사를 ‘선택’하는 사람과 전화면접을 ‘선택’하는 사람은 애초에 서로 다른 특성을 가진 집단일 가능성이 매우 높습니다. 예를 들어, 웹을 선택한 사람은 더 젊고, 기술에 친화적이며, 자기 의견을 글로 쓰는 것을 선호하는 성향을 가질 수 있습니다. 반면, 전화를 선택한 사람은 대화를 통해 생각을 정리하는 것을 더 편안하게 느낄 수 있습니다. 만약 이들의 정책 평가 의견이 다르다면, 우리는 원래 다른 두 집단의 의견을 듣게 되는 셈입니다.

2. 모드 효과: 설령 동일한 사람이라도, 조사 방식 자체가 응답에 영향을 미칩니다. 응답자는 면접원에게 직접 답할 때(전화) 사회적으로 바람직해 보이는 답변을 하려는 경향이 더 강하고, 익명성이 보장되는 웹에서는 더 솔직하고 비판적인 답변을 할 수 있습니다.

결국, 두 그룹 간의 응답 차이가 나타났을 때, 그것이 **‘서로 다른 사람이 답했기 때문(선택 편향)’**인지, 아니면 **‘서로 다른 방식으로 답했기 때문(모드 효과)’**인지 통계적으로 완벽하게 분리해내는 것이 거의 불가능해집니다.

그럼에도 이 방법을 선택해야 할 때

그렇다면 이처럼 방법론적 위험이 큰 전략을 언제 사용해야 할까요? 이 방법의 가치는 ‘측정의 엄밀함’보다 ‘접근(Access)과 포괄성’이 더 중요할 때 빛을 발합니다.

• 접근하기 어려운(Hard-to-reach) 응답자 조사: 바쁜 기업의 CEO나 고위 공무원, 특정 분야의 전문가 등, 접촉 자체가 어려운 사람들에게는 일단 조사에 참여시키는 것이 최우선 과제일 수 있습니다. 이들에게 “15분간의 전화 통화와, 편하신 시간에 답변 가능한 웹 링크 중 어떤 것을 선호하십니까?”라고 묻는 것 자체가, 상대방을 존중하고 협조를 이끌어내는 효과적인 ‘관계 형성’ 전략이 됩니다.

• 이질적인 집단을 동시에 조사할 때: 앞서 든 ‘노인 일자리 사업’ 예시처럼, 연령, 직업, 디지털 활용 능력이 천차만별인 여러 집단을 동시에 조사해야 할 때, 이 방법은 각 집단의 참여율을 보장하는 가장 현실적인 대안이 될 수 있습니다. 특히, **객관적인 ‘실태’**를 묻는 질문에서는 모드 효과가 상대적으로 적기 때문에, 이 방법의 장점이 단점보다 클 수 있습니다.

결론: 현명한 연구자의 ‘의식적인 타협’

결론적으로, 응답자에게 조사 방식을 선택하게 하는 것은 모든 상황에 적용할 수 있는 만병통치약이 아닙니다. 이는 **조사의 과학적 엄밀성을 일부 희생하는 대신, 응답률과 포괄성을 극대화하려는, 매우 의식적이고 전략적인 ‘타협’**입니다.

따라서 현명한 연구자는 이 방법을 사용하기로 결정했다면, 그로 인해 발생하는 한계를 숨기지 말고, 오히려 분석 과정에서 적극적으로 드러내고 관리해야 합니다. 수집된 데이터를 단순히 합쳐서 평균을 내는 것이 아니라, **“웹 응답자 그룹에서는 이러한 결과가, 전화 응답자 그룹에서는 저러한 결과가 나타났다”**고 투명하게 분리하여 보고하고, 그 차이의 원인을 신중하게 해석하려는 노력이 반드시 필요합니다.

결국 이 방법론은, 데이터의 순수성을 지키려는 ‘이상’과, 한 명의 목소리라도 더 듣고 싶어 하는 ‘현실’ 사이에서, 연구자가 자신의 연구 목적에 맞춰 내리는 고독한 결단이라 할 수 있습니다.