여론조사에도 미분과 적분이 숨어 있다

여론조사에도 미분과 적분이 숨어 있다

문과 출신 조사 실무자가 20년 만에 고등학교 수학을 다시 꺼내 보는 이유

나는 1997학번이다. 문과였지만 그때 교육과정에서는 문과도 수학II에서 미분과 적분을 배웠다. 다항함수를 미분하고 적분해서 넓이를 구하는 문제를 꽤 풀었던 기억이 있다. 그리고 졸업 후 20년 가까이 여론조사 일을 하면서 미분 계산을 손으로 한 적은 단 한 번도 없다.

얼마 전 문득 궁금해졌다. 그럼 그건 왜 배운 걸까. 답을 찾다 보니 결론이 좀 의외였다. 나는 미적분을 안 쓰는 게 아니라, 매일 쓰고 있었다. 다만 SPSS와 엑셀이 대신 계산해 주니까 눈에 안 보였을 뿐이다. 이 글은 그 숨은 자리를 찾아가는 기록이다. 수식은 거의 쓰지 않고 그림으로 설명해 보려 한다. 그래도 쉽지는 않을 것이다.

두 단어를 다시 정의하면

교과서 정의를 잠시 내려놓고 조사 실무자의 말로 바꿔 보자. 미분은 "지금 이 순간 얼마나 빨리 변하고 있는가"를 묻는 계산이다. 그래프로 치면 곡선 위 한 점에서의 기울기다. 적분은 "그렇게 변하는 양이 쌓이면 결국 얼마가 되는가"를 묻는 계산이다. 그래프로 치면 곡선 아래 넓이다.

적분이 넓이라는 말이 잘 와닿지 않는다면 아래 그림을 보면 된다. 곡선 아래를 막대로 채우고 막대 넓이를 더하면 대략의 넓이가 나온다. 막대를 더 잘게 쪼갤수록 정확해지고, 무한히 잘게 쪼갠 극한이 적분이다. 고등학교 때 배운 구분구적법이 바로 이것이다.

[그림 1] 막대를 잘게 쪼갤수록 곡선 아래 넓이에 가까워진다

이 두 가지 질문, 즉 변화의 속도와 쌓인 양은 조사 업무 곳곳에서 등장한다. 하나씩 보자.

±3.1%p는 어디서 왔는가

여론조사 보도문 끝에는 항상 이런 문장이 붙는다. "95% 신뢰수준에서 표본오차 ±3.1%p." 이 숫자를 한 번이라도 직접 계산해 본 사람은 1.96이라는 상수를 기억할 것이다. 1,000명이면 1.96 × √(0.25/1000) ≈ 0.031, 그래서 3.1%p다.

문제는 그 1.96이 어디서 왔느냐다. 정답은 적분이다. 표본조사를 무한히 반복하면 결과값은 모집단 값 주변에 종 모양으로 분포한다. 이 종 모양 곡선에서 가운데 넓이가 정확히 0.95가 되는 구간을 찾으면 그 경계가 ±1.96σ다. 즉 95%라는 숫자는 확률이 아니라 넓이고, 넓이를 구하는 계산이 적분이다.

[그림 2] 95% 신뢰수준은 종 모양 곡선 아래 넓이 0.95를 뜻한다

정규분포 곡선의 적분은 초등함수로 풀리지 않아서 수치적으로 계산한 표를 쓴다. 통계학 교과서 뒤에 붙어 있는 표준정규분포표가 그 결과물이다. 우리가 외운 1.96은 그 표를 한 번 읽은 것이다.

표본을 늘리면 오차가 얼마나 줄까

견적을 낼 때 자주 받는 질문이 있다. "300명으로 하면 오차가 얼마고, 500명으로 늘리면 얼마나 좋아지나요?" 이 질문은 정확히 미분 질문이다. 오차한계는 표본 크기의 제곱근에 반비례해서 줄어드는데, 중요한 건 줄어드는 속도가 계속 느려진다는 것이다.

[그림 3] 표본 크기와 오차한계. 주황 접선의 기울기가 그 자리에서의 미분값이다

300명에서 100명을 더 늘리면 오차한계가 약 0.9%p 줄어든다. 그런데 1,000명에서 100명을 늘리면 0.15%p밖에 안 줄어든다. 같은 100명이고 같은 비용인데 효과는 여섯 배 차이다. 곡선의 기울기가 그만큼 완만해졌기 때문이다. 경제학에서 말하는 한계효용 체감이 여기서도 그대로 나타난다.

실무에서 "1,000명이면 충분합니다"라고 말하는 근거가 사실 이 기울기다. 1,000명 이후로는 표본을 두 배로 늘려도 오차는 0.9%p 정도밖에 안 줄어든다. 그 돈이면 차라리 무응답을 줄이는 데 쓰는 게 낫다는 판단은, 곡선의 기울기를 읽은 결과다.

지지율 40%보다 중요한 것

트래킹 조사를 하다 보면 숫자 하나보다 방향이 더 중요하다는 걸 몸으로 배운다. 아래 두 그래프는 둘 다 이번 주 지지율이 40%다. 그런데 하나는 8주 동안 6%p 올라서 40%가 됐고, 다른 하나는 6%p 빠져서 40%가 됐다.

[그림 4] 같은 40%지만 기울기가 다르다

이번 주 값만 보면 두 후보는 같다. 기울기를 보면 전혀 다른 상황이다. A는 매주 0.75%p씩 오르고 있고, B는 매주 0.75%p씩 빠지고 있다. 기울기는 값의 미분이다. 언론이 "지지율 40%"라는 수준을 보도하고 캠프가 "추세"를 걱정하는 이유가 여기 있다. 캠프는 미분값을 보고 있는 것이다.

한 발 더 나가면 기울기의 기울기, 즉 2차 미분도 의미가 있다. 하락 속도가 줄어들고 있으면 바닥이 가까워졌다는 신호이고, 하락 속도가 커지고 있으면 아직 멀었다는 신호다. 그래프를 오래 본 사람은 이걸 감으로 읽는다. 감이 아니라 계산으로도 읽을 수 있다는 것이 이 글의 요지다.

문자를 보내고 나면

모바일 웹조사는 문자를 발송한 뒤 응답이 들어오는 속도가 시간에 따라 크게 달라진다. 발송 직후 한두 시간에 응답이 몰리고, 이후 급격히 줄었다가, 저녁 시간대에 한 번 더 작은 봉우리가 생긴다. 이 시간당 유입 곡선이 왼쪽 그림이다.

[그림 5] 시간당 응답 유입(왼쪽)을 누적하면 누적 응답 수(오른쪽)가 된다

실사 담당자가 실제로 보는 화면은 오른쪽이다. 누적 응답 수가 얼마나 찼는지, 목표 1,000명까지 얼마나 남았는지. 두 그림의 관계가 바로 미분과 적분이다. 왼쪽 곡선의 0시간부터 6시간까지 넓이가 오른쪽 그래프의 6시간 시점 값과 같다. 거꾸로 오른쪽 곡선의 기울기가 왼쪽 곡선의 높이다.

이 관계를 알면 추가 발송 판단이 쉬워진다. 오른쪽 곡선이 평평해지기 시작하면 왼쪽 유입이 거의 멈췄다는 뜻이고, 그때가 추가 발송이 필요한 시점이다. 발송량을 정할 때도 마찬가지다. 응답률 5%를 기대하고 2만 건을 보낸다는 계산은, 유입 곡선 전체를 적분하면 1,000명이 된다는 계산과 같은 것이다.

SPSS가 대신 미분하고 있다

여기까지는 그림으로 보이는 미적분이었다. 진짜 많이 쓰이는 자리는 눈에 안 보이는 곳에 있다. 회귀분석, 로지스틱 회귀, 요인분석, 그리고 가중치 계산이다.

예를 들어 1,000명 중 400명이 어떤 후보를 지지했다고 하자. 모집단 지지율은 얼마로 추정해야 할까. 답은 당연히 40%인데, 왜 40%인지를 통계학은 이렇게 설명한다. 모집단 지지율이 p일 때 1,000명 중 400명이 나올 확률을 p의 함수로 그리면 아래처럼 산 모양이 된다. 이 산의 꼭대기가 가장 그럴듯한 p이고, 꼭대기는 접선의 기울기가 0인 곳이다. 즉 미분해서 0이 되는 p를 찾는 것이다. 이것이 최대우도추정이다.

[그림 6] 우도함수의 꼭대기는 미분값이 0인 자리다

이 예시는 답이 뻔해서 미분이 필요 없어 보인다. 하지만 로지스틱 회귀처럼 변수가 열 개쯤 되면 꼭대기를 눈으로 찾을 수 없다. 이때 통계 프로그램은 미분값을 계산해서 기울기가 0이 되는 방향으로 조금씩 이동하는 반복 계산을 한다. 결과표에 찍히는 회귀계수는 전부 그렇게 나온 값이다. SPSS 출력물에 "Iteration"이라는 단어가 보이면 그게 미분을 반복하고 있다는 뜻이다.

레이킹으로 가중치를 만들 때도 같은 일이 벌어진다. 성별, 연령, 지역 분포가 모집단과 일치하도록 가중치를 조정하는 과정은, 표본 분포와 목표 분포의 거리를 최소화하는 문제다. 최소화는 최대화와 같은 문제고, 그 도구는 다시 미분이다.

정리해 보면

조사 업무에서 미분과 적분이 어디에 숨어 있는지 표로 모아 봤다.

조사 현장의 일	숨어 있는 계산	미분인가 적분인가
오차한계 ±3.1%p 계산	정규분포 곡선의 95% 구간 넓이	적분
표본 300명을 500명으로 늘릴지 결정	표본 크기에 따른 오차 감소 속도	미분
트래킹 조사에서 추세 판단	지지율의 주간 변화율	미분
실사 중 누적 응답 관리	시간당 응답 유입의 누적	적분
회귀분석, 로지스틱 회귀	우도함수의 최댓값 찾기(기울기 0)	미분
레이킹 가중치 산출	반복 계산으로 목표 분포에 수렴	미분(최적화)
평균, 기대값	값과 확률의 곱을 전부 더함	적분(이산형은 합)

 

표를 보면 한 가지가 눈에 들어온다. 값을 구하는 일은 대체로 적분이고, 판단하는 일은 대체로 미분이다. 오차한계, 누적 응답, 평균은 쌓아서 나온 값이다. 표본을 더 늘릴지, 추세가 바뀌었는지, 어떤 계수가 가장 그럴듯한지는 기울기를 보고 내리는 판단이다.

그래서 배운 게 헛되지 않았나

솔직히 말하면 미분 공식은 다 잊었다. 지금 시험을 보면 문과 97학번 평균에도 못 미칠 것이다. 하지만 두 가지 질문은 남았다. 지금 얼마나 빨리 변하고 있는가, 그리고 이게 쌓이면 얼마가 되는가. 이 두 질문을 습관처럼 던지는 사람과 그렇지 않은 사람은 같은 결과표를 보고도 다른 것을 읽는다.

고등학교 수학이 미적분을 마지막에 배치한 이유가 그것이라고 생각한다. 계산 기술을 남기려는 게 아니라 질문하는 방식을 남기려는 것이다. 20년 뒤에 그 질문이 여론조사 실사 화면 앞에서 튀어나올 줄은 그때는 몰랐다. 

조사 모드가 바뀌면 만족도 점수는 왜 내려가는가

 

조사 모드가 바뀌면 만족도 점수는 왜 내려가는가

공공기관 고객만족도조사(PCSI)의 웹 전환과 미국 HCAHPS의 모드 보정 사례

1. 같은 기관, 같은 문항, 다른 점수

공공기관 고객만족도조사(PCSI)는 기획재정부가 매년 공공기관을 대상으로 실시하고 그 결과를 경영실적평가에 반영하는 조사다. 공기업은 1999년, 준정부기관은 2004년부터 시작됐으니 20년이 넘었다. 그 사이 조사 방식은 크게 바뀌었다. 초기에는 면접원이 고객을 직접 찾아가는 대면조사가 주된 방식이었고, 이후 전화조사 비중이 커졌으며, 최근에는 웹조사로 옮겨가는 추세다. 표집틀은 대체로 같다. 해당 기관이 제공하는 고객 명단이다.

명단이 같고 문항이 같은데 모드가 바뀌면 점수가 달라진다. 실무자들 사이에서는 웹조사로 바꾸면 점수가 내려간다는 말이 정설처럼 돌아다닌다. 이 글은 그 현상이 왜 생기는지, 세계적으로 어떻게 확인됐는지, 그리고 기관마다 모드가 다를 때 점수를 어떻게 비교해야 하는지를 다룬다. 후반부에서는 미국 CMS의 병원 환자경험조사(HCAHPS)가 모드 차이를 어떻게 처리해 왔는지를 자세히 소개한다. 경영평가에 연동되는 조사에서 모드 보정을 제도화한 거의 유일한 사례이고, PCSI와 구조가 같기 때문이다.

2. 웹으로 가면 점수가 내려가는 세 가지 이유

점수 하락은 하나의 원인이 아니라 세 가지가 겹친 결과다. 셋을 구분해야 하는 이유는 성격이 다르기 때문이다. 둘은 측정이 좋아진 결과이고, 하나는 새로 생기는 편향이다.

면접원 효과

사람이 묻는 조사에서 응답자는 상대를 의식한다. 특히 "만족하십니까"류 문항에서 그렇다. 눈앞에 있거나 수화기 너머에 있는 면접원에게 "불만족"이라고 말하는 데는 심리적 비용이 든다. 대면에서 가장 크고 전화에서 그다음이며, 웹에서는 혼자 화면을 보고 답하니 이 압력이 거의 사라진다. 만족도 조사는 원래 점수가 천장에 붙어 있는 조사라 이 효과가 빠지면 점수가 눈에 띄게 내려온다.

시각 척도의 중간 수렴

전화에서는 면접원이 척도를 읽어줘야 한다. 11점 척도를 소리로 들으면 응답자는 양 끝이나 "매우 만족" 쪽으로 몰리기 쉽다. 웹에서는 0부터 10까지가 한 줄로 보이니 6, 7, 8점 같은 중간대를 고르는 사람이 늘어난다. 시각 제시 척도에서 중간 수렴이 생긴다는 것은 Dillman과 동료들이 2000년대 초반부터 반복 확인한 패턴이다.

자발 응답자의 불만 편향

명단이 같아도 누가 응답하느냐는 모드에 따라 달라진다. 전화는 면접원이 계속 걸어서 협조율을 끌어올리는 구조이고, 웹은 문자나 메일을 한두 번 보내고 들어오는 사람만 받는다. 협조율이 전화 30~40%에서 웹 10% 안팎으로 떨어지면 남는 응답자는 기관에 뭔가 할 말이 있는 사람 쪽으로 기울기 쉽다. 이건 표집오차가 아니라 무응답 편향이라 표본 수를 늘려도 잡히지 않는다.

그림 1. 전화에서 웹으로 옮길 때 점수가 내려가는 세 요인

앞의 둘은 웹 점수가 "진짜"에 가깝다는 뜻이다. 명단이 같은 사람 집단에게 같은 문항을 묻는데 점수가 내려간다면, 면접원 앞에서 후하게 답하던 부분이 빠진 것이다. 세 번째는 다르다. 응답자 구성이 바뀌어서 생기는 편향이고, 독촉 발송 회차나 인센티브로 협조율을 올리면 줄일 수 있다. 조사기관이 개입할 여지가 있는 부분이다.

PCSI에서는 여기에 한 가지가 더 얹힌다. 경영평가에 직결되는 조사라 기관들이 점수를 적극적으로 관리해 왔다는 점이다. 전화는 언제 걸릴지 모르니 사전 관리가 어렵고, 웹은 발송 시점이 정해져 있어 오히려 개입이 쉬워 보이지만 응답 로그(접속 시각, 소요 시간, 응답 패턴)가 남아서 걸리기도 쉽다. 모드 전환이 그 관리 여지를 줄이는 효과까지 겹치면 하락 폭이 순수한 모드 효과보다 커 보일 수 있다.

3. 한국만의 현상이 아니다

오히려 해외에서 먼저 정리된 현상이고 한국은 그걸 늦게 겪는 쪽이다. 학술적으로는 Dillman과 동료들의 연구가 출발점이다. 2000년대 초 전화와 웹, 우편을 비교한 여러 실험에서 전화 응답이 긍정 극단으로 몰린다는 결과가 반복됐고, 이는 만족도뿐 아니라 태도 문항 전반에서 나타났다. Christian, Dillman, Smyth의 척도 제시 방식 연구가 시각 척도의 중간 수렴을 설명했다.

Dillman 등(2009)의 실험이 대표적이다. 같은 응답자 집단을 우편, 전화, IVR, 웹에 무작위 배정해 비교했는데, 전화와 IVR 같은 청각 모드에서 척도의 긍정 극단 응답이 우편과 웹 같은 시각 모드보다 일관되게 많았다. 척도를 귀로 듣는 사람은 마지막에 들은 선택지나 가장 긍정적인 선택지를 고르는 경향이 있고, 눈으로 보는 사람은 척도 전체를 훑고 자기 위치를 고른다는 설명이다. 이 차이는 문항 내용과 무관하게 척도 형식 자체에서 나온다.

정부 조사 쪽도 마찬가지다. 미국 ACSI(American Customer Satisfaction Index)는 전화에서 웹 패널로 넘어가는 과정에서 모드 효과를 검증했고, 영국 NHS의 환자조사는 우편에서 온라인으로 옮기면서 점수 하락을 사전에 예고했다. 유럽사회조사(ESS)를 둘러싼 혼합모드 연구(Vannieuwenhuyze와 Loosveldt, 2010 등)와 통계네덜란드(CBS)의 Klausch, Hox, Schouten 연구는 모드 효과를 측정효과와 선택효과로 분리하는 방법을 발전시켰다.

차이가 있다면 한국은 대면 비중이 유난히 오래 남아 있었다는 점이다. 서구는 대면 만족도 조사가 비용 문제로 1990년대에 이미 거의 사라져서 전화에서 웹으로 한 단계만 겪었는데, PCSI는 대면, 전화, 웹을 20년 안에 다 겪는 셈이라 낙폭이 더 크게 느껴진다.

4. HCAHPS는 어떻게 했나

제도의 구조

HCAHPS(Hospital Consumer Assessment of Healthcare Providers and Systems)는 미국 CMS(메디케어·메디케이드 서비스센터)가 병원 퇴원환자를 대상으로 실시하는 환자경험 조사다. 결과가 병원별로 공개되고 진료비 지급에 연동된다. 경영평가에 연동되는 PCSI와 구조가 같다. 다만 한 가지가 다르다. 병원이 조사 모드를 스스로 고를 수 있다. 우편, 전화, 우편 후 전화 추적(혼합), 능동형 IVR 네 가지 중 하나를 선택한다. 기관마다 모드가 다른 상황이 처음부터 제도에 내장돼 있었고, 그래서 보정이 필수였다.

2006년 무작위 모드 실험

CMS는 본조사 공표에 앞서 실험을 했다. 무작위로 추출한 45개 병원 안에서 27,229명의 환자를 네 모드에 무작위 배정한 것이다. 병원이 모드를 고르는 게 아니라 환자를 병원 안에서 무작위로 나눴다는 점이 중요하다. 병원의 질과 모드 선택이 얽혀 있으면 관찰 데이터로는 모드 효과를 분리할 수 없기 때문이다.

결과는 명확했다. 전화와 IVR 응답자가 우편과 혼합 응답자보다 일관되게 긍정적으로 평가했고, 일부 항목의 차이는 병원 순위 30퍼센타일 이상에 해당하는 크기였다. 모드 효과는 병원 간에 일관됐고 환자 구성(patient-mix) 효과 전체보다 대체로 컸다. 응답률도 모드별로 크게 달라 혼합 41.2%에서 IVR 20.7%까지 벌어졌다. 이 결과는 Elliott 등(2009)이 Health Services Research에 발표했다.

한국식으로 옮기면 이렇다. 면접원이 개입하는 모드가 자기기입식보다 점수를 높이며, 그 차이는 응답자 특성 차이보다 크다. 그리고 그 차이는 기관마다 크게 다르지 않아서 공통 계수로 보정할 수 있다.

보정 방식

CMS는 측정항목마다 회귀모형을 돌린다. 각 항목 점수를 모드 변수, 환자 구성 변수, 병원 고정효과에 회귀시켜 모드 계수를 추정하고, 그 계수에 -1을 곱한 값을 보정치로 쓴다. 기준 모드는 우편이다. 점수가 낮게 나오는 자기기입식을 기준으로 삼고, 면접원 모드의 점수를 깎는 방향이다.

그림 2. HCAHPS 전화 모드 보정값(2016년 실험, 상위응답 비율 기준). 출처: hcahpsonline.org

그림 2는 2016년 실험에서 도출한 전화 모드 보정값이다. 병원 조용함 항목은 전화 응답에서 8.6%p를 빼고, 간호사 소통은 4.2%p, 병원 전체 평점은 2.0%p를 뺀다. 문항 성격에 따라 격차가 1%p에서 9%p까지 벌어진다는 것을 알 수 있다. 전체 점수에 하나의 계수를 적용하는 게 아니라 문항별로 다른 계수를 쓰는 이유다.

운영 원칙도 눈여겨볼 만하다. 보정계수는 공표 데이터에 따라 달라지지 않고 무작위 실험에서만 도출한다. 매 분기 새로 추정하는 게 아니라 실험으로 확정한 값을 고정해 쓴다는 뜻이다. 그리고 보정 전 점수, 보정계수, 보정 방법론 문서를 모두 hcahpsonline.org에 공개한다. 병원이 자기 점수가 어떻게 계산됐는지 따라갈 수 있다.

왜 우편을 기준으로 삼았는지도 생각해 볼 만하다. 가장 많은 병원이 쓰는 모드라서가 아니다. 면접원이 없는 모드가 응답자의 평가를 가장 덜 부풀린다고 봤기 때문이다. 기준 모드를 어디에 두느냐는 기술적 선택처럼 보이지만 사실은 어느 점수를 "진짜"로 볼 것인가에 대한 판단이다. 전화를 기준으로 잡고 우편 점수를 올리는 방식도 수학적으로는 가능하다. CMS는 그 반대를 택했다.

실험을 반복해 갱신한다

2006년 실험으로 2008년 첫 공표부터 보정을 시작한 뒤, CMS는 2016년에 다시 실험해 계수를 갱신했고, 2021년에 또 실험해 2023년 1월 퇴원 환자부터 새 보정값을 적용했다. 2021년 실험은 46개 병원, 36,000명 이상의 환자를 대상으로 했다. 응답 행태는 시간이 지나면 바뀌니 계수도 주기적으로 다시 재야 한다는 판단이다.

웹 모드의 도입

PCSI 상황과 가장 직결되는 대목은 웹 모드다. HCAHPS 2.0은 2025년 1월 퇴원 환자부터 이메일 후 우편, 이메일 후 전화, 이메일 후 우편·전화 세 가지 웹 우선 모드를 새로 도입했다. 기존 우편·전화·혼합 모드도 그대로 유지되니 여섯 모드가 공존한다. 2021년 실험은 기존 모드와 새 웹 우선 모드에 모두 적용할 수 있는 보정값을 산출하도록 설계됐고, 웹 우선 모드의 보정값은 모드 출시와 함께 적용됐다.

그림 3. HCAHPS 2021년 모드 실험의 모드별 응답률. 출처: AHRQ CAHPS 웨비나(2024.1)

그림 3은 2021년 실험의 응답률이다. 우편 22%, 전화 23%, 우편 후 전화 31%였고, 웹을 앞에 붙인 모드는 웹 후 우편 29%, 웹 후 전화 30%, 웹 후 우편·전화 36%로 응답률이 올라갔다. 웹이 단독으로는 응답률이 낮지만 다른 모드 앞에 붙이면 전체 응답률을 끌어올린다는 것이다. 한국의 문자 발송 웹조사에도 시사하는 바가 있다. 웹 무응답자에게 전화를 붙이는 혼합 설계가 응답자 구성 편향을 줄이는 현실적인 방법이 될 수 있다.

5. 기관별 모드가 다를 때 비교하는 방법

어느 기관은 전화로, 어느 기관은 웹으로 조사했을 때 점수를 비교하려면 어떻게 해야 하는가. 방법은 크게 네 갈래다.

방법	내용	장점	약점
병행조사	일부 기관의 명단을 무작위로 갈라 두 모드로 동시에 조사해 격차를 잰다	단순하고 설명이 쉽다	격차가 기관마다 다를 수 있다
회귀 보정	점수를 모드와 응답자 특성, 기관 고정효과에 회귀시켜 모드 계수를 추정하고 기준 모드로 환산한다	HCAHPS가 공식 채택. 문항별 계수 산출 가능	무작위 실험 데이터가 있어야 신뢰할 수 있다
재면접 설계	웹 응답자 일부를 전화로 다시 조사해 같은 사람의 두 모드 응답을 비교한다	측정효과와 선택효과를 분리한다	비용이 크고 응답자 부담이 있다
모드 내 상대평가	같은 모드로 조사한 기관끼리만 등급을 매긴다	보정 자체가 필요 없다	절대점수 공표를 포기해야 한다

 

HCAHPS는 첫째와 둘째를 결합했다. 무작위 병행 실험으로 데이터를 만들고, 그 데이터에 회귀모형을 적용해 문항별 계수를 도출했다. 셋째는 통계네덜란드 연구진이 발전시킨 방법으로, 학술적으로 가장 깨끗하지만 한 사람에게 두 번 묻는 것 자체가 응답을 바꿀 수 있고 비용이 크다. 넷째는 PCSI가 이미 유사기관 그룹별 상대평가를 하고 있으니 그룹을 모드까지 맞춰 짜면 되는 방식인데, 절대점수 공표를 포기해야 하니 제도 취지와 맞지 않는다.

이 밖에 잠재변수 접근도 있다. PCSI가 구조방정식 모형 기반이니 다집단 확인적 요인분석으로 모드 간 측정동일성을 검증하고 요인 점수 수준에서 비교하는 방식이다. Hox, de Leeuw, Zijlmans(2015)가 혼합모드 측정동일성을 다뤘다. 학술적으로는 맞는 접근이지만 경영평가 실무에서 기관에 설명하기 어렵다.

6. PCSI에 적용한다면

현실적인 조합은 HCAHPS와 같다. 병행조사로 격차를 재고 회귀보정으로 환산하는 두 단계다.

1단계는 격차 추정이다. 유사기관 그룹별로 상·중·하 점수대에서 한 곳씩, 전체 10개 안팎 기관을 골라 고객 명단을 무작위로 갈라 전화와 웹으로 동시에 조사한다. 기관당 모드별 200명이면 100점 척도 기준 표준오차가 1점 안쪽이라 2~3점 차이는 잡힌다. 총 4,000명 정도이고, 이 중 웹 2,000명은 본조사에 그대로 포함되니 순증 비용은 전화 2,000명분이다. 점수대를 섞어야 하는 이유는 상위 기관만 넣으면 천장효과 때문에 격차가 과대추정되고, 그 계수를 중하위 기관에 적용하면 과보정이 되기 때문이다.

2단계는 적용이다. 병행조사 데이터로 문항별·기관유형별 모드 계수를 추정하고, 전화로 조사한 기관 점수를 웹 기준으로 환산해서 공표한다. 기준은 웹이어야 한다. 앞으로 남을 모드가 웹이고, 면접원 효과가 빠진 쪽이 측정으로도 낫다. 환산 전 점수와 계수를 함께 공개하면 기관이 자기 점수를 따라갈 수 있다. HCAHPS가 그렇게 하고 있다.

주의할 점이 있다. HCAHPS의 보정은 측정효과를 잡는 것이지 응답자 구성 편향(앞의 세 번째 요인)까지 잡는 것은 아니다. 환자 구성 변수를 모형에 넣어 일부 통제하지만, 웹 협조율이 낮아서 생기는 무응답 편향은 보정계수가 아니라 실사 설계로 다스려야 한다. 리마인더 회차, 발송 시간대, 인센티브, 그리고 웹 무응답자에 대한 전화 추적 같은 것들이다. 보정과 실사 관리는 다른 문제이고, 둘 다 필요하다.

한 기관의 시계열은 어떻게 잇는가

기관 간 비교와 별개로 한 기관의 전년 대비 변화를 보는 문제가 있다. 작년에 전화로 91점, 올해 웹으로 87점이 나왔을 때 4점 하락 중 얼마가 모드 때문인지를 알아야 한다. 방법은 같다. 전환 첫해에 그 기관의 명단 일부를 전화로도 조사해서 두 모드 점수를 같이 확보하면 된다. 전화 점수는 작년과 잇고, 웹 점수는 내년 이후와 잇는다. 통계기관이 조사 방식을 바꿀 때 하는 가교조사(bridge study)가 바로 이것이고, 미국 센서스국이나 영국 ONS가 우편에서 웹으로 옮길 때 예외 없이 거친 절차다.

이걸 놓치면 시계열이 끊긴다. 몇 년 뒤에 소급해서 추정할 방법이 없다. 그래서 모드를 바꾸는 해에 병행조사를 하는 것은 선택이 아니라 시계열을 보존하는 최소 조건이다. 기관 하나하나가 다 할 수는 없으니, 앞서 말한 10개 안팎 기관의 병행조사 결과를 유사기관 그룹의 공통 가교값으로 쓰는 것이 현실적이다.

척도 환산과 모드 효과가 겹칠 때

PCSI는 척도 점수를 100점 만점으로 환산해 공표한다. 환산식에 따라 모드 효과가 다르게 보일 수 있다. 0~10점 11점 척도를 (평균/10)×100으로 환산하면 원점수 1점 차이가 10점 차이로 커진다. 웹에서 응답이 중간대로 수렴해 평균이 0.3점 내려가면 공표 점수는 3점 내려간다. 척도 끝점의 정의(0점이 실제로 "전혀 만족하지 않음"인지, 척도에 원점이 있는지)도 환산 결과에 영향을 준다. 모드 보정계수를 원점수 단위로 추정할지 환산 점수 단위로 추정할지를 미리 정해야 하고, HCAHPS는 항목별 상위응답 비율(top box)과 선형 평균 두 가지 단위로 각각 계수를 낸다.

7. 국내에 없는 것

국내 레퍼런스는 빈약하다. 통계청 통계개발원이 혼합모드 조사 관련 연구를 낸 적이 있고 인구주택총조사에 인터넷 조사를 병행하면서 모드 검토를 했지만, 만족도 조사에서 모드 보정을 공식화한 사례는 없다. NCSI나 KS-SQI 같은 민간 지수도 모드를 바꾸면서 보정식을 공개한 적이 없다. PCSI도 모드가 바뀌는 동안 전년 대비 점수를 그냥 비교해 왔다.

기관 입장에서 전년 대비 하락이 모드 변경 때문인지 서비스 저하 때문인지 구분이 안 된다는 것이 실제 문제다. 전환 시점에 일부 표본을 병행 조사해서 모드 격차를 추정해 두면 시계열 보정이 가능한데, 이걸 안 하고 넘어간 기관이 대부분일 것이다. 조사기관이 할 일이 여기 있다. 기관이 사전 진단 조사를 의뢰한다면 본조사와 같은 웹 모드로 돌려서 실제 받을 점수대를 예측해 주는 것이 의미가 있다. 전화로 사전조사해서 92점이 나왔는데 본조사 웹에서 86점이 나오면 사전조사는 아무 도움이 안 된다.

모드 효과는 조사의 결함이 아니라 조사의 속성이다. 미국 CMS가 2006년 실험으로 이 문제를 인정하고 20년 가까이 보정계수를 공개해 온 것은, 점수 하나를 공표하는 데 그 점수가 어떻게 만들어졌는지를 같이 설명해야 한다는 태도 때문이다. 한국의 공공기관 만족도조사에도 그 태도가 필요한 시점이다.

참고문헌

Elliott, M. N., Zaslavsky, A. M., Goldstein, E., Lehrman, W., Hambarsoomian, K., Beckett, M. K., & Giordano, L. (2009). Effects of survey mode, patient mix, and nonresponse on CAHPS hospital survey scores. Health Services Research, 44(2), 501–518. (PMC2677051)

CMS (2008). Mode and Patient-mix Adjustment of the CAHPS Hospital Survey (HCAHPS), April 30, 2008. hcahpsonline.org

CMS (2017). HCAHPS Survey Mode Adjustments of Top Box and Bottom Box Percentages, Derived from 2016 Mode Experiment. hcahpsonline.org

CMS (2024). Mode Adjustments for HCAHPS Survey Beginning with January 2025 Discharges. hcahpsonline.org

Elliott, M. N. (2024). 2021 HCAHPS Mode Experiment: Design and Results. AHRQ CAHPS Research Webcast, January 2024.

Dillman, D. A., Phelps, G., Tortora, R., Swift, K., Kohrell, J., Berck, J., & Messer, B. L. (2009). Response rate and measurement differences in mixed-mode surveys using mail, telephone, interactive voice response (IVR) and the Internet. Social Science Research, 38(1), 1–18.

Christian, L. M., Dillman, D. A., & Smyth, J. D. (2008). The effects of mode and format on answers to scalar questions in telephone and web surveys. In Lepkowski et al. (Eds.), Advances in Telephone Survey Methodology. Wiley.

Vannieuwenhuyze, J., Loosveldt, G., & Molenberghs, G. (2010). A method for evaluating mode effects in mixed-mode surveys. Public Opinion Quarterly, 74(5), 1027–1045.

Klausch, T., Hox, J. J., & Schouten, B. (2013). Measurement effects of survey mode on the equivalence of attitudinal rating scale questions. Sociological Methods & Research, 42(3), 227–263.

Schouten, B., van den Brakel, J., Buelens, B., van der Laan, J., & Klausch, T. (2013). Disentangling mode-specific selection and measurement bias in social surveys. Social Science Research, 42(6), 1555–1570.

Hox, J. J., de Leeuw, E. D., & Zijlmans, E. A. O. (2015). Measurement equivalence in mixed mode surveys. Frontiers in Psychology, 6, 87.

Kolenikov, S., & Kennedy, C. (2014). Evaluating three approaches to statistically adjust for mode effects. Journal of Survey Statistics and Methodology, 2(2), 126–158.

이청림, 이유재 (2012). 공공기관 고객만족지수 모형의 개발과 적용. 마케팅연구, 27(4), 69–99.