통신 3사 웹조사라고 다 믿을 일은 아니다

가장 이상적인 방식일수록, 라벨만 흉내 내기 쉽다.

“통신 3사 가입자를 표집틀로 쓴 웹조사”라는 설명을 들으면 마음이 놓인다. 특정 회사 회원도, 일부 가입자도 아니고 이동통신 가입자 전체를 덮는 틀처럼 들리기 때문이다. 의뢰자에게 이 한 줄은 강한 신뢰 신호다. 그런데 라벨과 실제 사이에는 생각보다 넓은 틈이 있을 수 있다.

먼저 인정할 건 인정하자. 통신 3사를 아우르는 타겟 문자 웹조사는 방법론적으로 가장 바람직한 축에 든다. 조사자가 명단에서 대상을 골라 보내는 통제된 추출이면서, 세 통신사를 합치면 틀이 거의 전체 가입자에 닿는다. 누구를 부를지 통제하는 일과 틀을 넓게 잡는 일을 동시에 해내는, 모바일 조사가 지향할 만한 형태다. 그러니 이 라벨이 믿음직하게 들리는 데에는 이유가 있다.

문제는 이 이상을 세 통신사 모두에 대해 진짜로 구현하기가 현실적으로 매우 어렵다는 점이다. 통신사마다 조사용 문자 발송을 받아주는 조건이 다르고, 직접 계약이 열리는 곳과 대행사를 거쳐야만 하는 곳이 갈리며, 한 번에 보내야 하는 최소 물량 같은 제약도 붙는다. 1,000명 규모의 조사에서 세 통신사에 표본을 고르게 배분해 발송하는 일은, 비용으로 보나 구조로 보나 좀처럼 맞아떨어지지 않는다. 그래서 실제로는 한 통신사 쪽으로 쏠리기 쉽다.

여기서 의심의 단서가 나온다. 가장 어려운 방식을 쉽고 깔끔하게 한다고 내세우면, 한 번 멈춰야 한다. 어려운 걸 쉽게 한다는 말은, 실제로는 다른 걸 하고 있을 가능성을 품기 때문이다.

라벨은 그대로인데 표본은 전혀 다른 경우가 흔하다. 하나는 사실상 한 통신사 가입자만 썼으면서 ‘3사’라는 틀의 이름만 빌리는 경우다. 커버리지가 한쪽으로 쏠려 있지만 겉으로는 드러나지 않는다. 다른 하나는 문자로 골라 보내는 게 아니라 앱 안에 설문을 띄워 자원자를 받은 경우다. 이용자가 포인트를 보고 스스로 들어온 자기선택 표본인데, ‘웹조사’라는 말로 뭉뚱그려진다. 앞은 통제된 추출이지만 틀이 좁고, 뒤는 틀을 따질 것도 없이 표본을 응답자 본인이 정한다. 같은 라벨 아래 성격이 정반대인 표본이 들어앉는 셈이다.

라벨 하나, 그 아래 갈라지는 표본들.

그래서 라벨이 아니라 표본이 어떻게 만들어졌는지를 물어야 한다. 세 통신사를 정말 다 썼는지, 각각 몇 명인지, 문자로 골라 보냈는지 아니면 앱에서 자원받았는지, 발송 대비 응답률은 얼마인지. 진짜로 3사 타겟 문자 웹조사를 했다면 이 질문들에 숫자로 답할 수 있다. 답이 두루뭉술하거나 ‘통신 3사 표집틀’이라는 말만 반복된다면, 그 조사는 라벨이 약속한 것과 다른 물건일 수 있다.

가장 이상적인 방식일수록 흉내 내기 좋은 라벨이 된다. 통신 3사 웹조사라는 말이 주는 안심은 거저 주어지지 않는다. 그 안심이 정당한지는, 라벨 아래에서 표본이 어떻게 모였는지를 확인한 다음에야 말할 수 있다.