조사에서 응답이 성립하려면 그 앞에 접촉이 있어야 한다. 전화조사는 일단 벨이 울리고 상대가 받아야 하고, 문자로 링크를 보내는 웹조사는 응답자가 QR 코드나 URL에 접근해야 한다. 둘 다 접촉이라고 부르지만 사건의 성질이 다르고, 그 차이 때문에 웹조사의 응답률은 전화조사와 같은 방식으로 계산되지 않는다.
접촉이라는 사건의 성질
전화조사에서 접촉은 응답자가 수동적으로 겪는 일이다. 벨이 울리고 받으면 접촉이 성립한다. 받는 순간에는 아직 조사에 협조할지 말지를 결정하지 않은 상태다. 그래서 접촉 이후에 협조를 설득할 시간이 따로 생기고, 면접원은 거절 직전의 응답자를 붙잡는 회복 절차를 쓸 수 있다.
문자 발송형 웹조사는 다르다. 응답자가 URL을 누르는 행위 자체가 이미 협조의 시작이다. 문자를 읽고 참여할지 판단한 뒤에 링크를 누르기 때문에 접촉과 협조가 한 동작에 겹쳐 있다. 둘을 갈라서 따로 관리할 여지가 없다.
실무에서는 이것이 설득 자원을 전부 발송 시점에 선지급해야 한다는 뜻이 된다. 발신번호의 신뢰도, 주관기관과 조사기관 표기, 인센티브 안내, 소요시간 고지를 문자 몇 줄에 다 넣어야 하고, 발송 이후에는 리마인더 재발송 말고 개입할 수단이 없다. 대신 문자는 전화처럼 접촉 기회가 그 자리에서 소멸하지 않는다. 수신함에 남아 있어서 응답 도착이 며칠에 걸쳐 늘어지고, 이 성질은 실사 운영에 유리하게 작동한다.
처리결과 코드가 채워지지 않는다
응답률 계산의 재료는 사례별 처리결과 코드다. 전화조사와 방문면접조사는 완료, 부분응답, 거절, 중단, 부재중, 통화중, 결번, 적격 여부 불명이 각각 코드로 남는다. 응답률 산식이 여러 갈래로 나뉠 수 있는 것도 이 분류표가 채워지기 때문이다.
문자 발송형 웹조사는 이 표가 거의 비어 있다. 통신사가 회신하는 도달 확인은 단말기에 메시지가 들어갔다는 뜻이지 사람이 그것을 읽었다는 뜻이 아니다. 열람 여부를 알 수 없으니 문자를 못 본 사람과 보고 무시한 사람을 구분할 방법이 없다. 조사 시스템의 로그는 링크 진입 이후부터만 잡힌다. 그 앞의 사건은 전부 무반응이라는 하나의 상태로 뭉쳐진다.
접촉률과 협조율을 나눌 수 없다
AAPOR 정의에서 접촉률은 접촉이 성립한 사례를 적격 표본으로 나눈 값이고, 협조율은 접촉이 성립한 사례 가운데 응답을 완료한 비율이다. 웹조사에서는 분자와 분모가 함께 흔들린다. 분자인 접촉 성립을 확인할 수단이 없고, 분모인 적격 여부도 응답을 시작한 사람에 대해서만 사후에 확인된다. 결번, 해지, 기기 미사용, 스팸 차단으로 걸러진 건이 전부 미응답과 섞여 들어간다.
그래서 현장에서 쓰는 지표는 발송 대비 응답 하나로 수렴한다. 이 값은 접촉률과 협조율을 곱한 결과이지 전화조사에서 말하는 응답률과 같은 것이 아니다. 웹패널 업계가 참여율(participation rate)이라는 별도 용어를 두고 응답률과 구분하는 이유도 여기에 있다.
대리지표로 근사해 볼 수는 있다. 통신사 발송 실패 코드로 분모를 정리하고, 링크 클릭은 했으나 첫 문항에서 이탈한 건을 접촉 후 거절로 잡는 방식이다. 다만 이렇게 얻은 값은 접촉률의 하한선일 뿐이다. 문자를 보고 그냥 지운 사람은 여전히 잡히지 않는다.
URL 접근자를 분모로 삼자는 주장
접촉률을 아예 URL 접근자 기준으로 정의하자는 의견이 있다. 링크에 들어온 사람을 접촉된 사람으로 보자는 것인데, 이렇게 하면 값이 지나치게 높아진다.
전화에서 접촉은 응답 의사와 무관하게 발생한다. 벨을 받는 순간에는 아직 판단이 들어가지 않았다. 반면 URL 클릭은 참여를 한번 고려한 뒤의 행동이다. 자기선택이 한 차례 걸러진 집단을 분모로 삼으니 그 뒤의 협조율이 90퍼센트를 넘는 것이 당연하다. 그 숫자를 전화조사 협조율 옆에 놓으면 비교가 성립하지 않는다.
기술적 잡음도 분모를 부풀린다. 메신저나 문자 앱이 링크 미리보기를 만들려고 자동으로 접속하는 경우, 기업 보안 솔루션의 URL 검사, 같은 사람의 중복 클릭이 모두 들어간다. 반대로 클릭 직후 첫 화면에서 나가는 이탈은 접촉 후 거절로 처리된다. 분모는 부풀고 분자 기준은 느슨해지는 방향으로 함께 어긋난다.
클릭 기반 수치는 접촉률이라고 부르지 않는 편이 낫다. 링크 진입율과 진입 후 완료율은 발송 문구나 첫 화면 설계를 수정하는 데 쓰는 운영지표로 두면 된다. 접촉률이라는 이름을 붙이는 순간 AAPOR 정의를 끌어다 붙일 수 있는 것처럼 보이는데, 정작 그 정의의 전제인 응답 의사와 독립된 접촉이 웹에는 없다.
웹조사 응답률의 산식과 표기
남는 것은 발송인원 대비 응답을 완료한 인원의 비율이다. 단순하지만 방어 가능한 산식은 이것뿐이다. 다만 정의를 붙일 때 미리 정해둘 것이 있다.
분모에서 무엇을 뺄지가 먼저다. 통신사 발송 실패 코드로 확인되는 결번, 해지, 수신거부는 적격 표본이 아니므로 제외하고, 확인되지 않는 나머지는 그대로 둔다. 이 원칙을 정해두지 않으면 같은 조사에서 발송량 기준과 도달량 기준의 두 수치가 동시에 돌아다니게 된다.
분자의 완료 기준도 사전에 고정해야 한다. 부분응답을 어디까지 완료로 인정할지, 주요 문항까지만 답하고 이탈한 건을 포함할지를 실사 시작 전에 정해야 사후에 유리한 쪽으로 기준이 움직이지 않는다.
할당 마감으로 참여가 차단된 응답자는 따로 처리한다. 이들은 협조 의사가 있었는데 조사 쪽 사정으로 막힌 경우이므로 미응답과 같이 묶으면 안 된다. 별도 코드를 부여해 분모에서 제외하거나, 최소한 별도로 표기한다.
이렇게 계산한 값은 전화조사 응답률보다 훨씬 낮게 나온다. 보고서에는 산식을 각주로 달고, 전화조사 응답률과 직접 비교할 수 있는 지표가 아니라는 단서를 함께 넣어두는 것이 안전하다.
AAPOR RR1부터 RR6까지의 구조
전화조사와 면접조사의 응답률 산식이 여섯 개로 나뉘는 것은 복잡해 보이지만 선택지는 두 가지뿐이다. 하나는 부분응답을 분자에 넣을 것인가이고, 다른 하나는 적격 여부를 알 수 없는 사례를 분모에서 어떻게 다룰 것인가다. 앞의 선택이 두 갈래, 뒤의 선택이 세 갈래여서 여섯 개가 나온다.
산식 분자에 부분응답을 넣는가 적격 여부 불명 사례를 어떻게 다루는가
RR1 완료만 전부 적격으로 간주해 분모에 남김
RR2 완료와 부분응답 전부 적격으로 간주해 분모에 남김
RR3 완료만 적격률 추정치 e를 곱해 일부만 분모에 남김
RR4 완료와 부분응답 적격률 추정치 e를 곱해 일부만 분모에 남김
RR5 완료만 전부 비적격으로 간주해 분모에서 제외
RR6 완료와 부분응답 전부 비적격으로 간주해 분모에서 제외
RR5와 RR6은 미확인 사례가 거의 없거나 전수 확인이 이루어진 조사에서만 정당화된다. 어느 산식을 썼는지 반드시 밝히라는 규칙이 붙는 것도 가정에 따라 값이 이렇게 달라지기 때문이다.
웹조사에는 이 여섯 갈래가 없다. 무반응 하나에 거절, 비접촉, 부적격이 모두 들어 있어서 고를 정보 자체가 없다. 미확인 사례를 전부 분모에 남기는 처리를 강제로 택하는 셈이고, 형태로 보면 가장 보수적인 RR1과 같아진다. 웹의 산식이 단순한 것은 방법이 깔끔해서가 아니라 선택할 재료가 없어서다. 이 차이를 기록해 두면 값이 왜 낮은지도 함께 설명된다.
RR1은 깔끔한가
RR1은 추정을 전혀 쓰지 않는다. 기관마다 값이 달라질 여지가 없어서 비교에는 가장 안전하다. 대신 하한선이다. RDD 전화조사는 미확인 번호 가운데 결번, 팩스, 사업장 번호가 상당히 섞여 있는데 이것을 전부 적격 가구로 계산하면 응답률이 실제보다 낮게 찍힌다. 그래서 전화조사 관행은 적격률 e를 추정한 RR3를 주로 쓰고 RR1을 함께 표기하는 쪽이다.
웹조사의 발송 대비 완료는 RR1과 형태만 닮았다. RR1은 미확인 사례를 적격으로 간주하겠다고 선택한 결과이고, 웹은 확인할 수단이 없어서 그렇게 된 것이다. 표본틀도 다르다. 통신사 마케팅 수신동의 가입자 데이터베이스는 회선 가입자 기준이라 가구 표본틀과 성격이 같지 않다. 두 값이 같은 자리에 놓인다고 해서 같은 의미를 갖지 않는다.
가상번호를 쓰는 정치조사
공표용 선거 여론조사에 제공되는 통신사 가상번호는 사정이 다르다. 실제 사용 중인 가입자 회선만 추출해서 주기 때문에 결번, 팩스, 사업장 번호가 표본에 들어오지 않는다. RR1과 RR3를 가르는 것이 미확인 사례의 적격률 e인데, 그 미확인 덩어리가 거의 없으니 e가 1에 가깝고 두 값이 붙는다. 추정치를 따로 만들 실익이 없다.
남는 불확실성은 명의자와 실사용자가 다른 경우다. 법인 명의나 가족 명의 회선이 섞이고, 통신사에 등록된 주소와 실제 거주지가 달라 지역이나 연령 할당에서 걸러지는 건이 나온다. 다만 이것은 스크리닝 문항으로 확인되어 비적격으로 코딩되고 분모에서 빠진다. 미확인 상태로 남는 것이 아니라서 RR1 계산을 흔들지 않는다.
더 신경 쓸 부분은 분모의 범위다. 정치조사는 할당이 차면 남은 표본을 투입하지 않고 종료하는데, 미투입분까지 분모에 넣으면 응답률이 실제보다 낮아진다. AAPOR 기준은 실제로 투입한 표본이므로 미사용분은 제외하는 것이 맞다. 이 처리만 일관되면 RR1으로 정리해도 무리가 없다.
한 가지 덧붙이면 여론조사심의위원회 등록용 응답률 산식은 AAPOR 정의와 그대로 겹치지 않는다. 공표용 수치와 내부 관리용 수치를 따로 두고 각각 무엇을 계산한 값인지 기록해 두는 편이 안전하다.
가상번호는 심의를 거친 공표용 선거·정치 여론조사에 한해 제공되고 전화조사에만 사용할 수 있다. 문자를 보내 모바일 웹으로 응답을 받는 조사에는 쓸 수 없으므로, 앞에서 다룬 문자 발송형 웹조사와 같은 조건으로 놓고 비교해서는 안 된다.
표기 원칙
웹조사는 발송인원 대비 완료 인원이라는 하나의 값을 쓰되, 그 값에 응답률이라는 이름만 붙여 내보내지 않는 것이 좋다. 산식을 함께 적고, 분모에서 제외한 사례가 무엇인지 밝히고, 완료로 인정한 기준을 명시하고, 전화조사 응답률과 등가로 읽을 수 없다는 단서를 남긴다.
웹조사의 낮은 응답률 자체는 감출 일이 아니다. 어떤 정보를 확보할 수 없는 조건에서 나온 값인지를 밝히는 것이 표기의 목적이고, 그 기록이 남아 있어야 나중에 다른 모드의 수치와 나란히 놓였을 때 설명이 가능하다.
댓글 없음:
댓글 쓰기