만족도 점수의 환산과 표현에 관하여

5점 척도에 0점은 없다

만족도 점수의 환산과 표현에 관하여

만족도 조사 결과를 정리하다 보면 거의 매번 같은 대화를 하게 된다. 5점으로 물어놓고 왜 100점으로 바꿔서 보고하느냐, 그 100점은 대체 무엇을 뜻하느냐는 질문이다. 발주처는 100점이 읽기 편하다고 하고, 조사자는 100점으로 바꾸는 순간 생기는 왜곡을 알고 있다. 그런데 이 왜곡은 환산 때문에 생긴 것이 아니라 리커트 척도 자체의 성질에서 나온다.

환산식은 두 가지가 통용된다

수집은 5점이나 7점 리커트로 하고 보고할 때 100점으로 바꿔 병기하는 것이 국내 만족도 조사의 표준적인 처리다. 그런데 실무에서 쓰이는 환산식이 하나가 아니다.

첫 번째는 척도의 최저 응답값을 0으로 놓는 선형변환이다.

(평균 − 1) ÷ (척도 점수 − 1) × 100

5점 척도 평균 3.5는 62.5점, 7점 척도 평균 5.0은 66.7점이 된다. 정부업무평가나 공공기관 고객만족도 계열에서 쓰는 방식이고, 척도가 서로 다른 조사끼리도 비교할 수 있다는 장점이 있다.

두 번째는 평균에 20(5점 척도) 또는 100÷7(7점 척도)을 곱하는 방식이다. 5점 척도 평균 3.5는 70.0점이 된다. 계산은 간단한데 이론상 최저점이 20점이 되어 0에서 100까지의 구간을 다 쓰지 못한다.

그림 1. 같은 평균 3.5가 환산식에 따라 62.5점과 70.0점으로 갈린다

같은 데이터에서 7.5점이 벌어진다. 어느 쪽이 옳으냐는 논쟁은 사실 의미가 크지 않다. 두 방식 모두 원래 척도에 없던 원점을 만들어내는 작업이고, 다만 그 원점을 어디에 놓느냐가 다를 뿐이다. 문제는 어느 식을 쓰든 읽는 사람이 그 숫자를 시험 점수로 받아들인다는 데 있다.

리커트 척도에는 0점이 없다

리커트 척도는 애초에 0점이 존재하지 않는 척도다. "매우 불만족"은 만족이 0이라는 뜻이 아니라 다섯 칸 중 가장 낮은 칸일 뿐이다. 응답자는 자신의 만족을 양으로 측정해서 답한 것이 아니라, 주어진 선택지 중 자기 상태에 가장 가까운 칸을 고른 것이다.

그런데 100점으로 바꾸는 순간 사람들은 이 숫자를 시험 점수처럼 읽는다. 0점은 만족이 전혀 없는 상태, 60점은 겨우 턱걸이, 이런 식이다. 선형환산은 최저 응답자에게 0점을 부여하는데, 그 응답자가 실제로 "만족이 하나도 없다"고 말한 것은 아니다. 논리적으로는 등간척도를 0에서 100까지의 구간에 옮겨놓은 것뿐인데, 읽는 사람은 절대적 원점이 있는 비율척도로 착각한다. 리커트를 등간척도로 볼 수 있느냐 자체가 오래된 논쟁거리인데, 100점으로 바꾸면 그 논쟁이 통째로 가려진다.

곱셈 방식은 반대 방향으로 이상해진다. 최저점이 20점이니 아무도 0점을 받을 수 없는 시험이 된다. 이건 이것대로 점수를 부풀려 보이게 한다.

표 1. 척도별 환산 최저점 비교

척도	응답 값	값의 폭	중간값	선형환산 최저점	곱셈환산 최저점
5점 척도	1 ~ 5	4	3.0	0점	20.0점
7점 척도	1 ~ 7	6	4.0	0점	14.3점
11점 척도	0 ~ 10	10	5.0	0점	0점

 

원 평균을 그대로 써도 착시는 남는다

여기서 한 걸음 더 들어가면, 100점 환산을 포기하고 원 평균만 보고해도 같은 문제가 남는다는 사실이 보인다. "5점 만점에 3.5점"이라고 쓰는 순간 이미 오해가 시작된다. 만점이라는 표현은 0점부터 5점까지 있는 척도를 전제하는데, 실제 응답 값은 1점부터 5점까지다. 이론적 최저값이 1점이므로 3.5는 5점 구간의 70퍼센트 위치가 아니라 1에서 5까지의 폭 4에서 62.5퍼센트 위치에 해당한다.

특히 위험한 것이 "5점 만점에 2.8점이면 낙제"라는 식의 해석이다. 2.8은 중간값 3.0보다 조금 낮을 뿐인데 100점 만점 감각으로는 56점처럼 읽힌다. 반대로 4.2가 나오면 84점처럼 느껴져 실제보다 후하게 평가된다. 국내 공공기관 고객만족도 점수가 대부분 80점대와 90점대에 몰려 있는 것도 이 구조와 무관하지 않다. 실제 응답 분포는 상위 두 칸에 쏠려 있고, 환산이 그 쏠림을 시험 점수처럼 보이게 만드니 기관 입장에서는 높은 숫자가 나오는 방식을 선호하게 된다.

애초에 0을 허용하는 척도를 쓰면 이 문제가 사라진다. 0에서 10까지의 11점 척도나 0에서 100까지의 슬라이더는 원점이 실재하므로 평균값을 비율로 읽어도 무리가 없다. NPS가 0에서 10까지를 쓰는 것도 같은 이유다. 다만 응답자가 0을 고르는 것을 심리적으로 부담스러워해서 실제로는 0 응답이 거의 나오지 않는다는 별개의 문제가 생기고, 기존에 5점으로 쌓아온 시계열이 있다면 전환 시점에 한 번은 양쪽을 병행해 물어야 한다.

척도의 시작과 끝을 그림에 드러낸다

환산식을 어떻게 정하든 결국 남는 과제는 표현이다. 읽는 사람이 이 숫자가 어떤 척도에서 나왔는지 모르면 오독은 반드시 일어난다. 그림에서 척도의 시작 값과 끝 값을 드러내는 것만으로도 만점 착각이 상당히 차단된다.

여기서 막대그래프의 한계가 드러난다. 막대는 길이로 값을 표현하기 때문에 눈금이 0에서 시작하지 않으면 거짓말이 된다. 그런데 리커트 척도에는 0이 없으므로, 눈금을 0부터 잡으면 존재하지 않는 값이 기준선이 되고 모든 막대가 길어져 항목 간 차이가 뭉개진다. 눈금을 1부터 잡으면 이번에는 막대 길이가 값에 비례하지 않는 왜곡 논란이 생긴다. 어느 쪽으로 가도 문제가 남는다.

닷 차트는 이 딜레마에서 벗어난다. 점은 길이가 아니라 위치로 값을 표현하므로, 눈금을 실제 응답 범위인 1에서 5까지로 잡는 것이 오히려 정확한 표현이 된다. 원점이 없는 척도에는 막대보다 점이 논리적으로 맞다.

그림 2. 같은 데이터를 막대그래프와 닷 차트로 그린 결과

실무에서 챙길 부분은 몇 가지다.

•   눈금 양 끝에 숫자만 쓰지 말고 척도 문구를 함께 넣는다. 1(전혀 만족하지 않는다), 5(매우 만족한다) 식이다. 숫자만 있으면 읽는 사람은 여전히 시험 점수로 본다.

•   중간값 3.0에 옅은 기준선을 하나 긋는다. 각 항목이 중간보다 위인지 아래인지가 바로 읽힌다.

•   항목이 여러 개면 평균값 순으로 정렬한다. 설문 문항 순서대로 두면 순위가 눈에 들어오지 않는다. 다만 전년 대비 비교가 목적이면 순서를 고정해야 하므로 보고서 용도에 따라 정한다.

•   숫자 라벨은 점 옆에 붙인다. 별도 표로 빼면 그림과 표를 오가며 읽어야 한다.

변화를 보여줄 때는 덤벨 차트

전년 대비 결과를 함께 보여줄 때는 덤벨 차트가 잘 맞는다. 올해 값과 작년 값을 각각 점으로 찍고 그 사이를 선으로 잇는 형태인데, 변화의 방향과 폭이 한눈에 들어온다. 선 색으로 상승과 하락을 구분하면 충분하고, 여기에 화살표까지 붙이면 과하다.

그림 3. 전년과 올해를 함께 표시한 덤벨 차트

두 해를 막대 두 개로 나란히 그리는 방식이 여전히 흔하지만, 항목이 다섯 개만 넘어가도 막대 열 개가 늘어서면서 어느 쌍이 한 항목인지 헷갈린다. 덤벨은 항목당 선 하나이므로 항목 수가 늘어도 읽기가 무너지지 않는다.

평균만으로는 부족하다

닷 차트든 덤벨이든 평균값 하나를 점으로 찍는 그림에는 공통된 약점이 있다. 분포가 보이지 않는다는 점이다. 평균 3.5가 응답이 3과 4에 몰린 결과인지, 1과 5로 갈라진 결과인지 구분되지 않는다. 만족도가 양극화된 항목과 대체로 무난한 항목은 정책적으로 전혀 다른 문제인데 평균은 같게 나온다.

정책 판단이 걸린 항목이라면 옆에 응답 분포를 누적 막대로 병기하거나, 최소한 표준편차를 결과표에 넣어두는 편이 낫다. 상위 두 칸을 합한 긍정률을 함께 제시하는 것도 방법이다. 긍정률은 분포 정보를 일부 살리면서 해석이 쉬워 발주처와의 소통에도 유리하다.

정리

환산점수는 절대 수준을 말하는 데는 쓸 수 없다. 같은 방식으로 측정한 전년 대비 변화나 기관 간 상대 비교에서만 의미가 있다. 보고서에 종합만족점수 72.4점만 덜렁 써놓으면 오독은 사실상 확정이다.

•   평균값, 100점 환산값, 긍정률을 함께 제시한다.

•   환산식을 각주로 명시한다. 어느 식을 썼는지에 따라 7점 이상 차이가 난다.

•   지표 정의는 과업지시서 단계에서 확정해둔다. 결과가 나온 뒤에 환산식을 바꾸자는 요청이 들어오면 곤란해진다.

•   그림에는 척도의 시작 값과 끝 값, 중간값 기준선을 표시한다.

•   리커트 결과는 막대보다 닷 차트, 시계열 비교는 덤벨 차트를 기본으로 둔다.

결국 이 모든 처리는 응답자가 다섯 칸 중 하나를 골랐다는 원래의 사실로 돌아가기 위한 장치다. 숫자를 아무리 매끈하게 다듬어도 그 사실이 바뀌지는 않으며, 보고서가 할 일은 그 사실을 가리지 않는 것이다.