결과표의 사례수, 실제로 조사한 사람 수를 적자

 

결과표의 사례수, 실제로 조사한 사람 수를 적자

가중 사례수만 적힌 결과표가 만들어내는 혼란에 대하여

조사 결과표에서 비율보다 먼저 읽어야 하는 숫자는 맨 윗줄의 사례수다. 그 셀의 수치를 얼마나 믿어도 되는지 알려주는 유일한 단서이기 때문이다. 그런데 정작 이 사례수가 실제로 조사한 사람 수인지, 가중치를 곱한 뒤의 숫자인지는 표만 봐서는 알기 어렵다.

우리나라 관행은 조사 종류에 따라 갈린다. 선거·정치 여론조사는 실제 사례수와 가중 사례수를 나란히 밝힌다. 중앙선거여론조사심의위원회 등록 규정이 가중 전후 사례수를 모두 공개하도록 요구하기 때문이다. 반면 사회조사, 정책조사, 만족도조사 등 대부분의 조사는 가중 사례수만 적는다. 방법론적 판단의 결과라기보다는, 규정이 없는 영역에서 통계 패키지가 뽑아주는 기본값이 그대로 관행이 된 경우에 가깝다.

결론부터 말하면, 결과표의 사례수는 실제 조사한 사람 수가 기본이 되어야 한다고 본다. 특히 제곱근 할당처럼 실제 표본과 가중 표본의 괴리를 일부러 크게 만드는 설계에서는, 가중 사례수만 적는 관행이 독자를 체계적으로 오도한다.

사례수는 두 가지 일을 한다

표 속의 사례수는 역할이 둘이다. 하나는 비율 계산의 분모다. 다른 하나는 그 비율이 얼마나 정밀한지 알려주는 신호다. 문제는 이 두 역할이 요구하는 숫자가 서로 다르다는 데 있다. 분모 역할만 생각하면 가중 사례수가 자연스럽다. 비율이 가중 데이터로 계산되니, 사례수도 가중 기준이어야 셀의 숫자를 곱해 인원수를 재구성할 수 있고 하위집단의 합이 전체와 맞아떨어진다.

그러나 신호 역할을 생각하면 답이 달라진다. 추정치의 오차를 결정하는 것은 실제로 몇 명이 응답했느냐다. 가중은 정보를 늘려주지 않는다. 늘리기는커녕 가중치의 편차만큼 분산을 키운다. 이른바 설계효과다. 그래서 가중 후의 유효 표본 규모는 실제 응답자 수보다 작아지는 것이 보통이다. 실제 40명을 가중해 90명으로 적는 표는, 40명만도 못한 정밀도를 90명짜리로 보이게 하는 이중의 과대표시가 된다.

국제 기준은 이 충돌을 역할 분담으로 정리했다. 비율은 모집단 값의 추정이므로 가중치를 적용하고, 사례수는 데이터의 실체를 보여주는 숫자이므로 실측을 적는다. 미국여론조사협회(AAPOR)의 공개기준은 보고서에 등장하는 하위집단 추정치마다 비가중 사례수를 밝히도록 명시하고 있고, 표본오차를 보고할 때는 가중에 따른 설계효과를 반영했는지까지 밝히라고 요구한다. 제3자가 유의성 검정을 다시 돌려보거나 특정 셀의 표본이 해석에 충분한지 판단하려면 실제 사례수가 있어야 한다는, 검증 가능성의 논리다.

실측 표기를 지지하는 근거는 하나 더 있다. 가중 사례수는 스케일 자체가 임의적이라는 사실이다. 가중치의 합을 응답자 수에 맞추면 1,000이 되지만, 모집단 수에 맞추면 4,300만이 된다. 같은 조사에서 어느 쪽으로 정규화하느냐에 따라 아무 숫자나 될 수 있는 값이다. 관례상 합을 응답자 수에 맞춰 놓아 실측처럼 보일 뿐이다. 반면 실제 사례수는 정의가 하나뿐이고, 누가 계산해도 같다.

제곱근 할당 조사에서 벌어지는 일

이 문제가 가장 날카롭게 드러나는 곳이 제곱근 할당이다. 17개 시도를 포괄하는 정부·공공 조사에서 표본을 인구에 비례해 배분하면 세종이나 제주 같은 작은 시도는 20~40명밖에 배정받지 못해 지역별 분석이 불가능해진다. 그래서 인구의 제곱근에 비례해 배분한다. 작은 시도를 일부러 더 조사하고, 큰 시도를 덜 조사한 뒤, 전국 수치를 낼 때 가중치로 인구 비례를 복원하는 설계다. 전국 3,000명 조사를 가정한 예시는 다음과 같다.

시도	인구 비중	인구비례 배분	제곱근 할당 (실제 조사)	가중 후 사례수	응답자 1인 가중치
세종	0.7%	21명	70명	21명	0.30
제주	1.3%	39명	92명	39명	0.42
서울	18.2%	546명	343명	546명	1.59
경기	26.6%	798명	415명	798명	1.92
…	…	…	…	…	…
전국	100%	3,000명	3,000명	3,000명	평균 1.00

표 1. 전국 3,000명 조사의 배분 예시(인구 비중은 예시값, 사례수는 반올림). 응답자 1인 가중치는 시도 내 균등 가정.

세종은 실제로 70명을 조사했지만 가중치 0.30이 곱해져 표에는 21명으로 찍힌다. 경기는 415명을 조사했는데 가중치 1.92가 곱해져 798명으로 부풀어 나온다. 가중 사례수만 적힌 결과표를 받아 든 독자의 판단은 정해져 있다. 세종 수치는 표본 20명대라 인용하기 어렵다는 판정을 받고, 경기 수치는 800명 가까운 탄탄한 결과로 대접받는다. 둘 다 틀렸다. 방향까지 반대로 틀렸다.

시도	실제 사례수 기준 오차	표기된 가중 사례수로 읽을 때	왜곡 방향
세종	70명, ±11.7%p	21명, ±21.4%p	정밀도 과소평가
경기	415명, ±4.8%p	798명, ±3.5%p	정밀도 과대평가

표 2. 95% 신뢰수준, 단순임의추출 가정의 최대 표본오차. 설계효과를 반영하면 격차는 더 벌어진다.

세종의 찬성률이 61.0%로 나왔다고 하자. 실제 근거는 70명, 오차 ±11.7%p짜리 추정치다. 그런데 표에는 21명으로 적혀 있으니 독자는 ±21.4%p짜리로 읽고 버린다. 작은 시도의 사례수를 확보하겠다고 예산을 들여 세 배 넘게 과대표집한 설계 의도가, 표기 관행 하나 때문에 표에서 지워지는 것이다. 반대로 경기는 실제보다 두 배 가까이 정밀해 보인다. 유의미하지 않은 차이가 유의미한 것으로 보고되는 경로다.

실무에서 겪는 혼란은 여기서 끝나지 않는다. 보고서 앞부분의 조사개요에는 지역별 실제 표본 수와 그 기준의 표본오차를 적어 놓고, 뒤의 결과표에는 가중 사례수를 적는 경우가 흔하다. 한 보고서 안에서 세종이 앞에서는 70명, 뒤에서는 21명이 된다. 발주처 담당자가 왜 숫자가 다르냐고 물으면 설명이 길어지고, 설명을 들어도 표를 읽을 때마다 환산이 필요하다. 소표본 셀에 음영을 넣거나 각주로 경고하는 관행도 실제 응답자 수 기준으로 만들어진 것인데, 가중 사례수 위에서는 이 경고선이 제대로 작동하지 않는다. 실제 70명짜리 셀이 21명으로 표기되어 불필요한 경고를 받고, 실제 25명짜리 셀이 가중으로 50명이 되어 경고 없이 통과하는 일이 동시에 일어난다.

정합성 반론에 대하여

가중 사례수 표기를 지지하는 논리가 없는 것은 아니다. 비율이 가중 데이터로 계산되므로 사례수도 가중 기준이어야 표가 안에서 맞아떨어진다는 정합성 논리다. 실측 사례수에 가중 비율을 얹으면, 70명의 61.0%는 42.7명이라는 어색한 계산이 나온다는 지적도 가능하다.

타당한 지적이지만, 각주 한 줄로 해소되는 문제다. 비율은 가중치를 적용한 값이고 사례수는 실제 응답 사례수라고 표 하단에 밝히면 된다. 표의 산술적 정합성을 지키자고 추정치의 신뢰도 정보를 지우는 것과, 각주 하나로 계산 방식을 밝히고 신뢰도 정보를 살리는 것 중 어느 쪽이 독자에게 이로운지는 자명하다. 사례수를 보고 독자가 내리는 판단은 이 수치를 믿을 것인가이지, 몇 명으로 나눴는가가 아니다.

이렇게 제안한다

첫째, 결과표 사례수의 기본값은 실제 응답 사례수로 한다. 표 하단에 고정 각주를 단다. 예를 들면 이렇게. "비율은 성·연령·지역 가중치를 적용한 값이며, 사례수는 실제 응답 사례수임."

둘째, 제곱근 할당처럼 실제와 가중의 괴리가 큰 설계에서는 두 사례수를 병기한다. 표기 순서는 실측을 앞에 두어 70(21)과 같이 적는다. 독자가 먼저 봐야 할 숫자는 실측이기 때문이다. 모든 배너에 병기하기 부담스러우면 전체와 지역 배너처럼 괴리가 큰 구간에만 병기하는 절충도 가능하다.

셋째, 소표본 경고는 실제 사례수 기준으로 건다. 실측 30명 미만 셀에 음영이나 별도 표시를 하고, 그 기준을 각주에 밝힌다.

넷째, 전국치처럼 가중치 편차가 큰 추정치에는 설계효과나 유효 표본 규모를 조사개요에 함께 적는 것이 정직하다. 제곱근 할당의 전국 추정치는 명목 3,000명보다 상당히 작은 유효 표본으로 계산된 값이다.

사례수는 조사 회사가 자기 데이터의 실체를 어디까지 보여줄 것인가의 문제다. 가중 사례수만 적힌 표는 거짓말은 아니지만, 독자가 가장 필요로 하는 정보를 가려 놓은 표다. 규정이 있는 정치조사만 병기하고 규정이 없는 사회조사는 생략하는 지금의 관행이야말로, 병기가 더 엄격한 규범이라는 사실을 스스로 인정하고 있는 셈이다.

웹조사에 응답률이라는 말을 쓸 수 있는가

웹조사에 응답률이라는 말을 쓸 수 있는가

조사에서 응답이 성립하려면 그 앞에 접촉이 있어야 한다. 전화조사는 일단 벨이 울리고 상대가 받아야 하고, 문자로 링크를 보내는 웹조사는 응답자가 QR 코드나 URL에 접근해야 한다. 둘 다 접촉이라고 부르지만 사건의 성질이 다르고, 그 차이 때문에 웹조사의 응답률은 전화조사와 같은 방식으로 계산되지 않는다.

접촉이라는 사건의 성질

전화조사에서 접촉은 응답자가 수동적으로 겪는 일이다. 벨이 울리고 받으면 접촉이 성립한다. 받는 순간에는 아직 조사에 협조할지 말지를 결정하지 않은 상태다. 그래서 접촉 이후에 협조를 설득할 시간이 따로 생기고, 면접원은 거절 직전의 응답자를 붙잡는 회복 절차를 쓸 수 있다.

문자 발송형 웹조사는 다르다. 응답자가 URL을 누르는 행위 자체가 이미 협조의 시작이다. 문자를 읽고 참여할지 판단한 뒤에 링크를 누르기 때문에 접촉과 협조가 한 동작에 겹쳐 있다. 둘을 갈라서 따로 관리할 여지가 없다.

실무에서는 이것이 설득 자원을 전부 발송 시점에 선지급해야 한다는 뜻이 된다. 발신번호의 신뢰도, 주관기관과 조사기관 표기, 인센티브 안내, 소요시간 고지를 문자 몇 줄에 다 넣어야 하고, 발송 이후에는 리마인더 재발송 말고 개입할 수단이 없다. 대신 문자는 전화처럼 접촉 기회가 그 자리에서 소멸하지 않는다. 수신함에 남아 있어서 응답 도착이 며칠에 걸쳐 늘어지고, 이 성질은 실사 운영에 유리하게 작동한다.

처리결과 코드가 채워지지 않는다

응답률 계산의 재료는 사례별 처리결과 코드다. 전화조사와 방문면접조사는 완료, 부분응답, 거절, 중단, 부재중, 통화중, 결번, 적격 여부 불명이 각각 코드로 남는다. 응답률 산식이 여러 갈래로 나뉠 수 있는 것도 이 분류표가 채워지기 때문이다.

문자 발송형 웹조사는 이 표가 거의 비어 있다. 통신사가 회신하는 도달 확인은 단말기에 메시지가 들어갔다는 뜻이지 사람이 그것을 읽었다는 뜻이 아니다. 열람 여부를 알 수 없으니 문자를 못 본 사람과 보고 무시한 사람을 구분할 방법이 없다. 조사 시스템의 로그는 링크 진입 이후부터만 잡힌다. 그 앞의 사건은 전부 무반응이라는 하나의 상태로 뭉쳐진다.

접촉률과 협조율을 나눌 수 없다

AAPOR 정의에서 접촉률은 접촉이 성립한 사례를 적격 표본으로 나눈 값이고, 협조율은 접촉이 성립한 사례 가운데 응답을 완료한 비율이다. 웹조사에서는 분자와 분모가 함께 흔들린다. 분자인 접촉 성립을 확인할 수단이 없고, 분모인 적격 여부도 응답을 시작한 사람에 대해서만 사후에 확인된다. 결번, 해지, 기기 미사용, 스팸 차단으로 걸러진 건이 전부 미응답과 섞여 들어간다.

그래서 현장에서 쓰는 지표는 발송 대비 응답 하나로 수렴한다. 이 값은 접촉률과 협조율을 곱한 결과이지 전화조사에서 말하는 응답률과 같은 것이 아니다. 웹패널 업계가 참여율(participation rate)이라는 별도 용어를 두고 응답률과 구분하는 이유도 여기에 있다.

대리지표로 근사해 볼 수는 있다. 통신사 발송 실패 코드로 분모를 정리하고, 링크 클릭은 했으나 첫 문항에서 이탈한 건을 접촉 후 거절로 잡는 방식이다. 다만 이렇게 얻은 값은 접촉률의 하한선일 뿐이다. 문자를 보고 그냥 지운 사람은 여전히 잡히지 않는다.

URL 접근자를 분모로 삼자는 주장

접촉률을 아예 URL 접근자 기준으로 정의하자는 의견이 있다. 링크에 들어온 사람을 접촉된 사람으로 보자는 것인데, 이렇게 하면 값이 지나치게 높아진다.

전화에서 접촉은 응답 의사와 무관하게 발생한다. 벨을 받는 순간에는 아직 판단이 들어가지 않았다. 반면 URL 클릭은 참여를 한번 고려한 뒤의 행동이다. 자기선택이 한 차례 걸러진 집단을 분모로 삼으니 그 뒤의 협조율이 90퍼센트를 넘는 것이 당연하다. 그 숫자를 전화조사 협조율 옆에 놓으면 비교가 성립하지 않는다.

기술적 잡음도 분모를 부풀린다. 메신저나 문자 앱이 링크 미리보기를 만들려고 자동으로 접속하는 경우, 기업 보안 솔루션의 URL 검사, 같은 사람의 중복 클릭이 모두 들어간다. 반대로 클릭 직후 첫 화면에서 나가는 이탈은 접촉 후 거절로 처리된다. 분모는 부풀고 분자 기준은 느슨해지는 방향으로 함께 어긋난다.

클릭 기반 수치는 접촉률이라고 부르지 않는 편이 낫다. 링크 진입율과 진입 후 완료율은 발송 문구나 첫 화면 설계를 수정하는 데 쓰는 운영지표로 두면 된다. 접촉률이라는 이름을 붙이는 순간 AAPOR 정의를 끌어다 붙일 수 있는 것처럼 보이는데, 정작 그 정의의 전제인 응답 의사와 독립된 접촉이 웹에는 없다.

웹조사 응답률의 산식과 표기

남는 것은 발송인원 대비 응답을 완료한 인원의 비율이다. 단순하지만 방어 가능한 산식은 이것뿐이다. 다만 정의를 붙일 때 미리 정해둘 것이 있다.

분모에서 무엇을 뺄지가 먼저다. 통신사 발송 실패 코드로 확인되는 결번, 해지, 수신거부는 적격 표본이 아니므로 제외하고, 확인되지 않는 나머지는 그대로 둔다. 이 원칙을 정해두지 않으면 같은 조사에서 발송량 기준과 도달량 기준의 두 수치가 동시에 돌아다니게 된다.

분자의 완료 기준도 사전에 고정해야 한다. 부분응답을 어디까지 완료로 인정할지, 주요 문항까지만 답하고 이탈한 건을 포함할지를 실사 시작 전에 정해야 사후에 유리한 쪽으로 기준이 움직이지 않는다.

할당 마감으로 참여가 차단된 응답자는 따로 처리한다. 이들은 협조 의사가 있었는데 조사 쪽 사정으로 막힌 경우이므로 미응답과 같이 묶으면 안 된다. 별도 코드를 부여해 분모에서 제외하거나, 최소한 별도로 표기한다.

이렇게 계산한 값은 전화조사 응답률보다 훨씬 낮게 나온다. 보고서에는 산식을 각주로 달고, 전화조사 응답률과 직접 비교할 수 있는 지표가 아니라는 단서를 함께 넣어두는 것이 안전하다.

AAPOR RR1부터 RR6까지의 구조

전화조사와 면접조사의 응답률 산식이 여섯 개로 나뉘는 것은 복잡해 보이지만 선택지는 두 가지뿐이다. 하나는 부분응답을 분자에 넣을 것인가이고, 다른 하나는 적격 여부를 알 수 없는 사례를 분모에서 어떻게 다룰 것인가다. 앞의 선택이 두 갈래, 뒤의 선택이 세 갈래여서 여섯 개가 나온다.

산식 분자에 부분응답을 넣는가 적격 여부 불명 사례를 어떻게 다루는가

RR1 완료만 전부 적격으로 간주해 분모에 남김

RR2 완료와 부분응답 전부 적격으로 간주해 분모에 남김

RR3 완료만 적격률 추정치 e를 곱해 일부만 분모에 남김

RR4 완료와 부분응답 적격률 추정치 e를 곱해 일부만 분모에 남김

RR5 완료만 전부 비적격으로 간주해 분모에서 제외

RR6 완료와 부분응답 전부 비적격으로 간주해 분모에서 제외

RR5와 RR6은 미확인 사례가 거의 없거나 전수 확인이 이루어진 조사에서만 정당화된다. 어느 산식을 썼는지 반드시 밝히라는 규칙이 붙는 것도 가정에 따라 값이 이렇게 달라지기 때문이다.

웹조사에는 이 여섯 갈래가 없다. 무반응 하나에 거절, 비접촉, 부적격이 모두 들어 있어서 고를 정보 자체가 없다. 미확인 사례를 전부 분모에 남기는 처리를 강제로 택하는 셈이고, 형태로 보면 가장 보수적인 RR1과 같아진다. 웹의 산식이 단순한 것은 방법이 깔끔해서가 아니라 선택할 재료가 없어서다. 이 차이를 기록해 두면 값이 왜 낮은지도 함께 설명된다.

RR1은 깔끔한가

RR1은 추정을 전혀 쓰지 않는다. 기관마다 값이 달라질 여지가 없어서 비교에는 가장 안전하다. 대신 하한선이다. RDD 전화조사는 미확인 번호 가운데 결번, 팩스, 사업장 번호가 상당히 섞여 있는데 이것을 전부 적격 가구로 계산하면 응답률이 실제보다 낮게 찍힌다. 그래서 전화조사 관행은 적격률 e를 추정한 RR3를 주로 쓰고 RR1을 함께 표기하는 쪽이다.

웹조사의 발송 대비 완료는 RR1과 형태만 닮았다. RR1은 미확인 사례를 적격으로 간주하겠다고 선택한 결과이고, 웹은 확인할 수단이 없어서 그렇게 된 것이다. 표본틀도 다르다. 통신사 마케팅 수신동의 가입자 데이터베이스는 회선 가입자 기준이라 가구 표본틀과 성격이 같지 않다. 두 값이 같은 자리에 놓인다고 해서 같은 의미를 갖지 않는다.

가상번호를 쓰는 정치조사

공표용 선거 여론조사에 제공되는 통신사 가상번호는 사정이 다르다. 실제 사용 중인 가입자 회선만 추출해서 주기 때문에 결번, 팩스, 사업장 번호가 표본에 들어오지 않는다. RR1과 RR3를 가르는 것이 미확인 사례의 적격률 e인데, 그 미확인 덩어리가 거의 없으니 e가 1에 가깝고 두 값이 붙는다. 추정치를 따로 만들 실익이 없다.

남는 불확실성은 명의자와 실사용자가 다른 경우다. 법인 명의나 가족 명의 회선이 섞이고, 통신사에 등록된 주소와 실제 거주지가 달라 지역이나 연령 할당에서 걸러지는 건이 나온다. 다만 이것은 스크리닝 문항으로 확인되어 비적격으로 코딩되고 분모에서 빠진다. 미확인 상태로 남는 것이 아니라서 RR1 계산을 흔들지 않는다.

더 신경 쓸 부분은 분모의 범위다. 정치조사는 할당이 차면 남은 표본을 투입하지 않고 종료하는데, 미투입분까지 분모에 넣으면 응답률이 실제보다 낮아진다. AAPOR 기준은 실제로 투입한 표본이므로 미사용분은 제외하는 것이 맞다. 이 처리만 일관되면 RR1으로 정리해도 무리가 없다.

한 가지 덧붙이면 여론조사심의위원회 등록용 응답률 산식은 AAPOR 정의와 그대로 겹치지 않는다. 공표용 수치와 내부 관리용 수치를 따로 두고 각각 무엇을 계산한 값인지 기록해 두는 편이 안전하다.

가상번호는 심의를 거친 공표용 선거·정치 여론조사에 한해 제공되고 전화조사에만 사용할 수 있다. 문자를 보내 모바일 웹으로 응답을 받는 조사에는 쓸 수 없으므로, 앞에서 다룬 문자 발송형 웹조사와 같은 조건으로 놓고 비교해서는 안 된다.

표기 원칙

웹조사는 발송인원 대비 완료 인원이라는 하나의 값을 쓰되, 그 값에 응답률이라는 이름만 붙여 내보내지 않는 것이 좋다. 산식을 함께 적고, 분모에서 제외한 사례가 무엇인지 밝히고, 완료로 인정한 기준을 명시하고, 전화조사 응답률과 등가로 읽을 수 없다는 단서를 남긴다.

웹조사의 낮은 응답률 자체는 감출 일이 아니다. 어떤 정보를 확보할 수 없는 조건에서 나온 값인지를 밝히는 것이 표기의 목적이고, 그 기록이 남아 있어야 나중에 다른 모드의 수치와 나란히 놓였을 때 설명이 가능하다.

모델이 좋아지면 신세틱 서베이도 좋아질까: 정량과 정성은 다른 게임이다

 

모델이 좋아지면 신세틱 서베이도 좋아질까: 정량과 정성은 다른 게임이다

AGI 질문에서 시작된 이야기

요즘 신세틱 서베이 이야기를 하다 보면 반드시 나오는 질문이 있다. LLM이 계속 발전해서 AGI에 가까워지면, 신세틱 서베이의 정합성도 따라서 좋아지느냐는 것이다. 모델이 사람처럼 생각하게 되면 사람의 응답도 잘 흉내 내지 않겠느냐는 직관이다. 그럴듯하게 들리지만, 나는 절반만 맞는 이야기라고 본다. 그리고 그 절반이 어느 쪽 절반이냐가 정량조사와 정성조사에서 갈린다. 결론부터 말하면 정량은 모델 지능이 아무리 올라가도 풀리지 않는 문제를 안고 있고, 정성은 모델 발전의 수혜를 직접 받되 그 수혜가 미치지 않는 한계가 하나 남는다. 이 글은 그 구분을 정리해보려는 시도다.

정량은 분포의 게임이다

정량조사의 산출물은 분포다. 어떤 정책에 찬성이 47퍼센트냐 53퍼센트냐, 지지율이 오차범위 안이냐 밖이냐를 맞히는 게임이다. 신세틱 정량 서베이의 정합성이란 결국 가상 응답자 집단이 만들어낸 분포가 실제 조사의 분포에 얼마나 근접하느냐의 문제다.

여기서 오차가 어디서 나오는지를 따져봐야 한다. 첫 번째 출처는 학습 데이터의 분포 편향이다. LLM은 인터넷에 축적된 텍스트로 학습된다. 그런데 온라인에 글을 남기는 사람과 조사의 모집단은 다른 집단이다. 글을 많이 쓰는 사람일수록 젊고, 교육 수준이 높고, 의견이 강하다. 70대 농촌 거주자의 정책 태도는 온라인 텍스트에 그 사람의 인구 비중만큼 기록되어 있지 않다. 이 편향은 모델이 똑똑해진다고 해소되지 않는다. AGI가 되어도 학습 데이터에 충분히 기록되지 않은 집단의 의견 분포는 알 수 없다. 더 그럴듯하게 추정할 수 있을 뿐이다. 그리고 그럴듯한 추정과 맞는 추정은 다른 것이다. 조사 방법론에서 표집틀에 없는 사람은 아무리 정교한 가중치로도 완전히 복원되지 않는다는 것과 같은 이치다. 커버리지 오차는 통계 처리의 문제가 아니라 자료의 문제다.

두 번째 출처가 더 흥미로운데, 모델이 너무 똑똑해지면 도리어 악화될 수 있는 부분이다. 실제 응답자는 비일관적이다. 문항을 대충 읽고, 잘 모르는 주제에도 답하고, 어제와 오늘 답이 다르다. 컨버스가 제기한 무태도 응답, 크로스닉이 정리한 만족화 응답 개념이 가리키는 그대로다. 여론조사 원자료의 상당 부분은 숙고의 산물이 아니라 문항당 5초에서 10초 사이에 이루어지는 즉답으로 채워져 있다. 나는 인간의 설문 응답이 투랑조의 4단계 인지 모델이 그리는 것만큼 합리적이고 순차적인 과정이라고 보지 않는다. 이해하고, 인출하고, 판단하고, 응답을 맞춘다는 네 단계를 다 거치기에 5초는 너무 짧다.

그런데 지능이 높은 모델일수록 논리적으로 정합적인 답을 내놓으려는 경향이 강해진다. 앞 문항의 답과 뒤 문항의 답이 모순되지 않도록 조율하고, 잘 모르는 주제에는 유보하고, 극단을 피한다. 사람의 무지와 비합리와 모순까지 재현해야 분포가 맞아떨어지는데, 모델 발전의 방향은 정반대를 향한다. 여기에 정렬 학습의 효과가 겹친다. 상용 LLM은 무난하고 온건한 답변을 내놓도록 훈련된다. 그 결과 강한 의견을 가진 응답자층이 체계적으로 과소 재현된다. 무당층과 유보층과 모름 응답의 비율을 맞히는 일, 그러니까 태도가 없는 사람의 비율을 맞히는 일은 신세틱 정량에서 가장 어려운 과제 중 하나인데, 이것은 지능의 문제가 아니라 훈련 방식의 문제다.

그래서 정량 신세틱의 정합성을 끌어올리는 열쇠는 모델의 범용 지능이 아니라 실측 데이터로 하는 보정에 있다고 본다. 같은 문항을 실제 조사와 신세틱 조사에 동시에 태워보고, 어느 집단에서 어느 주제일 때 얼마나 어긋나는지 오차 구조를 축적하는 것이다. 성별로, 연령으로, 이념 성향으로, 문항 유형으로 오차의 패턴이 쌓이면 그것 자체가 보정 모형의 재료가 된다. 이 게임에서 유리한 쪽은 더 좋은 모델을 쓰는 쪽이 아니라 실사 데이터를 계속 만들어내는 쪽이다. 조사회사가 신세틱 서베이 시대에도 무기를 쥐고 있다면 바로 이 실측 자산이다. 모델이 좋아지기를 기다리는 전략은 정량에서는 이길 수 없는 전략이다.

정성은 재현의 게임이다

정성조사는 계산이 다르다. 정성조사에서 클라이언트가 사는 것은 분포가 아니다. 이유와 언어다. 왜 그렇게 생각하는지, 그 생각을 어떤 표현으로 말하는지, 찬성한다면서도 어떤 조건을 다는지, 어떤 생활 경험이 그 태도의 근거로 동원되는지다. 백분율이 아니라 구술이 산출물이다.

이것은 분포 추정의 문제가 아니라 그럴듯한 인간 재현의 문제다. 그리고 인간 재현은 모델 지능이 올라가면 직접적으로 좋아지는 영역이다. 지금 모델들도 조건을 주면 해당 집단의 전형을 연기하는 수준은 된다. 50대 자영업자, 대구 거주, 고졸이라는 속성을 주면 그 집단이 할 법한 말을 만들어낸다. 더 발전한 모델은 여기서 나아가 그 사람이 처한 경제 사정과 세대 경험과 지역 정서가 특정 정책 앞에서 어떻게 충돌하는지까지 추론할 것이다. 최저임금 인상에 대한 자영업자의 태도가 노동자였던 과거 경험과 고용주인 현재 처지 사이에서 흔들리는 것 같은 내적 긴장 말이다. 모더레이터가 예정에 없던 추가 질문을 던졌을 때 일관된 세계관으로 반응하는 능력, 문항 워딩의 미묘한 차이에 사람처럼 다르게 반응하는 능력도 계속 나아질 것이다.

그래서 나는 신세틱 IDI와 신세틱 FGD가 신세틱 정량보다 먼저 실무에 자리 잡을 것이라고 본다. 실제로 지금 수준의 모델로도 쓸모가 있는 용도들이 있다. 본조사 전에 가설을 발굴하는 용도, 설문 문항을 사전 테스트하는 용도, 인터뷰 가이드를 리허설하는 용도다. 실제 좌담회를 열기 전에 가상 참석자들에게 가이드를 한 바퀴 돌려보면 어떤 질문이 헛돌고 어떤 질문에서 이야기가 터지는지 미리 볼 수 있다. 이 정도만 해도 실사 한 회차의 실패 비용을 생각하면 값어치를 한다.

그러나 발견은 못 한다

다만 정성에도 모델 발전이 해결해주지 못하는 한계가 하나 있다. 정성조사의 진짜 가치는 조사자가 예상하지 못한 것이 튀어나올 때 생긴다. 설계 단계에서는 존재하는 줄도 몰랐던 불만, 소비자들 사이에서만 통용되는 은어, 제품을 엉뚱한 용도로 쓰는 관행 같은 것들이다. 발주처가 정성조사에 기대하는 것도 결국 이것이다. 우리가 몰랐던 게 있었다는 문장을 보고서에서 만나는 일 말이다.

그런데 모델은 학습 데이터 안에서 그럴듯한 것을 재조합한다. 세상에 새로 등장한 불만, 학습 시점 이후에 형성된 정서, 아직 텍스트로 기록된 적 없는 관행은 만들어낼 수 없다. 만들어낸다면 그것은 발견이 아니라 창작이고, 조사 산출물로서는 오염이다. 그러니까 신세틱 정성은 사람들이 대체로 이렇게 말할 것이라는 예행연습으로는 강력하지만, 우리가 몰랐던 것을 찾아내는 도구는 되기 어렵다. 재현과 발견 사이에 선이 있고, 신세틱은 그 선의 재현 쪽에 서 있다.

마케팅 정성과 공공 정성은 원하는 것이 다르다

여기까지 오면 정성조사를 하나로 묶어서 말하기 어렵다는 것이 드러난다. 발견의 한계가 치명적인 시장이 있고, 별문제가 되지 않는 시장이 있기 때문이다.

마케팅 정성조사는 발주 동기 자체가 불확실성 해소다. 우리가 모르는 미충족 니즈, 예상 못한 사용 장면, 아직 언어화되지 않은 불만을 찾으려고 돈을 쓴다. 신제품 컨셉 테스트든 사용성 조사든, 클라이언트가 원하는 것은 자기들이 이미 아는 이야기의 확인이 아니라 모르던 이야기의 출현이다. 신세틱이 구조적으로 가장 약한 자리에 수요의 무게중심이 놓여 있는 셈이다. 마케팅 정성에서 신세틱은 실사 전 리허설 이상의 자리를 차지하기 어렵다고 보는 이유다.

공공과 사회조사 영역의 정성은 사정이 다르다. 솔직하게 말하면, 공공 정성조사는 결론의 방향이 대강 정해진 상태에서 발주되는 경우가 적지 않다. 정책은 이미 설계되어 있고, 필요한 것은 보고서에 들어갈 주민의 목소리다. 수용성 논거를 받쳐줄 인용문, 집단별 반응의 예시, 이해관계자 유형별 우려 사항의 정리 같은 것들이다. 여기서 요구되는 것은 발견이 아니라 재현이다. 40대 자영업자는 이런 식으로 말한다, 고령층은 이 부분을 걱정한다는 수준의 그럴듯함이면 산출물로 기능한다. 그리고 그것은 신세틱이 이미 잘하고 앞으로 더 잘할 일이다.

실사 여건도 이 방향을 거든다. 공공 정성조사는 대상자 리크루팅이 어렵다. 특정 정책의 이해관계자를 조건에 맞게 모으는 일은 소비자 패널에서 뽑는 일보다 훨씬 품이 들고, 사례비 대비 참여 동기도 약하다. 실사의 고충이 큰 영역일수록 대체재의 유인은 커진다. 신세틱 정성의 시장이 열린다면 마케팅보다 공공 쪽이 먼저라고 보는 근거다.

절차라는 변수

다만 공공 영역에는 다른 종류의 장벽이 하나 있다. 공공 정성조사의 가치에는 내용만이 아니라 절차가 포함되어 있다는 점이다. 주민 의견을 실제로 들었다는 사실 자체가 정책의 정당성 근거가 되는 구조다. 공청회가 요식이라는 비판을 받으면서도 사라지지 않는 것과 같은 이치다. 들었다는 절차가 남아야 한다.

그래서 산출물이 아무리 그럴듯해도 실제 사람을 만나지 않았다는 사실이 발주처에는 문제가 될 수 있다. 감사 대응이나 민원 상황에서 AI가 만든 주민 의견이라는 표현이 등장하는 순간, 조사의 품질과 무관하게 사업 전체가 흔들린다. 이것은 방법론의 문제가 아니라 행정의 문제이고, 모델이 발전한다고 풀리는 문제도 아니다.

그렇다면 공공 영역에서 신세틱 정성이 자리 잡는 경로는 본조사 대체가 아니다. 조사 설계 전의 사전 탐색, 인터뷰 가이드의 검증, 실사 결과의 보강 같은 이름을 달고 들어가야 한다. 실사 IDI 몇 건을 앵커로 두고 신세틱으로 유형과 폭을 넓히는 하이브리드 구성이라면, 실제로 들었다는 절차 요건과 납품 물량을 동시에 채울 수 있다. 실측 표본이 신세틱 결과의 검증 장치 역할을 겸하니 방법론적으로도 변명이 선다. 정량에서 실측 보정 표본을 붙이는 논리가 정성에서도 같은 방식으로 작동하는 것이다.

기다리는 쪽과 축적하는 쪽

정리하면 이렇다. 정량 신세틱의 정합성은 모델 지능의 함수가 아니라 보정 데이터의 함수다. 학습 데이터의 편향은 지능으로 풀리지 않고, 무태도와 만족화의 재현은 모델 발전 방향과 어긋난다. 이 게임의 승부처는 실측 조사와 신세틱 조사를 나란히 돌리며 오차 구조를 쌓는 데 있다. 정성 신세틱은 모델 발전의 수혜를 직접 받는다. 다만 발견이 아니라 재현의 도구라는 성격은 바뀌지 않으며, 그 성격 때문에 발견을 사려는 마케팅 정성보다 그럴듯한 구술을 사려는 공공 정성에서 먼저 쓸모를 인정받을 것이다. 공공에서는 절차적 정당성이라는 관문이 남지만, 실사 앵커를 둔 하이브리드 구성으로 우회할 길이 있다.

모델이 좋아지면 신세틱 서베이도 좋아지느냐는 질문으로 돌아가면, 답은 이렇게 된다. 좋아지는 부분이 있고, 좋아지지 않는 부분이 있고, 나빠질 수 있는 부분도 있다. 그 셋을 구분하지 않고 모델 발전을 기다리는 쪽과, 구분한 다음 자기 실측 자산으로 오차를 축적하는 쪽이 있다면, 몇 년 뒤 신세틱 서베이를 상품으로 팔 수 있는 쪽은 후자다. 신세틱 서베이의 미래는 모델 성능표가 아니라 조사 설계자의 손에 달려 있다.

응답자는 설문에 어떻게 답하는가

 

응답자는 설문에 어떻게 답하는가

응답 인지과정 이론의 전개와 현재의 표준

설문 문항 하나에 답하는 데 걸리는 시간은 보통 몇 초에 불과하다. 그러나 그 몇 초 동안 응답자의 머릿속에서는 꽤 복잡한 작업이 진행된다. 질문을 읽고, 무엇을 묻는지 해석하고, 기억을 뒤지고, 흩어진 정보를 하나의 판단으로 만들고, 그 판단을 주어진 보기 중 하나에 맞춰 넣는다. 이 과정 어디에서든 오류가 생길 수 있고, 그 오류가 쌓인 것이 측정오차다. 응답 인지과정 이론은 바로 이 몇 초를 분해해서 보는 이론이다.

이 분야가 체계를 갖춘 것은 1980년대다. 1983년 미국에서 열린 CASM(Cognitive Aspects of Survey Methodology) 세미나를 계기로 인지심리학자와 조사방법론자가 같은 문제를 놓고 협업하기 시작했고, 이후 십여 년 사이에 오늘날까지 인용되는 주요 모델이 대부분 나왔다. 시기순으로 하나씩 살펴본다.

그림 1. 응답 인지과정 이론의 전개(1981~2008). 위아래로 번갈아 배치했을 뿐 계열 구분은 없다.

1. Cannell, Miller & Oksenberg(1981): 두 갈래 길

체계적인 모델로는 가장 이른 것이 Cannell과 동료들의 작업이다. 이들은 면접조사에서 응답이 만들어지는 경로를 둘로 나눴다. 하나는 질문을 제대로 이해하고 기억을 성실히 뒤져서 정답에 가까운 응답을 내놓는 경로다. 다른 하나는 그 과정을 건너뛰는 지름길이다. 지름길을 택한 응답자는 사회적으로 바람직해 보이는 답, 면접원의 표정이나 말투가 암시하는 답, 앞 질문에서 이미 했던 답에 기대어 대충 답한다.

응답의 질이 갈라지는 두 경로를 명시적으로 제시했다는 점에서 이 모델은 10년 뒤 등장하는 만족화 이론의 원형이 됐다. 면접원 행동 표준화, 응답자 서약(commitment) 절차, 피드백 기법 같은 실무 처방도 이 모델에서 나왔다.

2. Tourangeau(1984): 4단계 모델

Tourangeau는 응답 과정을 이해(comprehension), 인출(retrieval), 판단(judgment), 응답(response)의 네 단계로 나눴다. 응답자는 먼저 질문의 어휘와 구문을 해석하고 질문자의 의도를 추론한다. 다음으로 관련 정보를 기억에서 꺼내고, 빠진 부분은 추론으로 메운다. 꺼낸 정보를 통합해 하나의 판단을 만들고, 마지막으로 그 판단을 주어진 응답 범주에 대응시켜 보고한다. 민감한 문항에서 답을 다듬는 응답 편집(editing)은 이 마지막 단계에서 일어난다.

그림 2. Tourangeau의 4단계 모델. 각 단계 아래에 대표적인 하위 과정을 표시했다. 단계 간 이동은 반드시 순차적이지 않으며, 되돌아가거나 건너뛸 수 있다.

이 모델의 강점은 진단 도구로서의 쓸모다. 어떤 문항에서 이상한 응답 분포가 나왔을 때, 문제가 이해 단계에 있는지(어휘가 어렵다, 이중 질문이다), 인출 단계에 있는지(회상 기간이 너무 길다), 판단 단계에 있는지(추정 전략이 문항마다 다르다), 응답 단계에 있는지(보기가 응답자의 판단과 맞지 않는다, 민감해서 숨긴다)를 구분해서 따질 수 있다. 2000년에 Tourangeau, Rips & Rasinski가 펴낸 『The Psychology of Survey Response』는 이 틀을 정교화한 책으로, 이 분야의 표준 교과서로 자리 잡았다.

3. Strack & Martin(1987): 태도 응답의 두 경로

사실 문항과 달리 태도 문항에는 별도의 논의가 붙는다. Strack과 Martin은 태도 질문에 답할 때 두 가지 경로가 있다고 봤다. 하나는 이미 형성해 둔 판단을 기억에서 꺼내 그대로 보고하는 경로다. 다른 하나는 저장된 판단이 없거나 꺼내기 어려울 때, 그 순간 머리에 떠오르는 정보만으로 즉석에서 판단을 새로 만드는 경로다.

그림 3. Strack & Martin의 두 경로 모델. 즉석 구성 경로에서는 그 순간 접근 가능한 정보가 무엇이냐에 따라 응답이 달라진다.

이 구분이 중요한 이유는 즉석 구성 경로의 함의 때문이다. 태도가 서류철처럼 저장돼 있다가 인출되는 게 아니라 질문받는 순간 접근 가능한 정보로 만들어진다면, 앞 문항이 무엇이었는지, 응답 척도가 어떻게 생겼는지에 따라 같은 사람의 응답이 달라질 수 있다. 문항 순서 효과와 응답 척도 효과(context effects)를 설명하는 이론적 기반이 여기서 나왔고, 이후 태도 구성론(attitudes-as-constructions)과 신념 표집(belief-sampling) 모델로 발전했다.

4. Krosnick(1991): 만족화 이론

Krosnick의 만족화(satisficing) 이론은 4단계 모델을 전제로 하되, 응답자가 네 단계를 얼마나 성실히 수행하는지에 주목한다. 네 단계를 모두 충실히 밟는 것이 최적화(optimizing)다. 반대로 인지적 노력을 아끼기 위해 단계를 피상적으로 수행하는 것이 약한 만족화, 인출과 판단 단계를 아예 생략하고 그럴듯한 답을 고르는 것이 강한 만족화다.

그림 4. 최적화와 만족화. 어느 경로를 타는지는 과제 난이도, 응답자 능력, 응답 동기 세 요인의 함수다.

만족화가 일어날 확률은 세 가지 요인으로 결정된다. 과제가 어려울수록, 응답자의 인지 능력이 낮을수록, 응답 동기가 약할수록 만족화 가능성이 커진다. 이 단순한 공식이 강력한 이유는 실무에서 관찰되는 여러 응답 행동을 하나의 원리로 설명하기 때문이다. 보기 첫 번째를 고르는 초두 효과, '그렇다'로 일관하는 묵종 편향, 중간값으로 도피하는 경향, 격자형 문항에서 한 줄로 찍는 비차별화(non-differentiation), 손쉬운 '모름' 선택이 모두 만족화의 발현으로 해석된다. 설문 길이를 줄이고 문항을 쉽게 쓰라는 실무 지침의 이론적 근거가 여기에 있다.

5. Schwarz(1990년대): 설문은 대화다

Schwarz의 기여는 이해 단계를 다시 정의한 것이다. 그는 언어철학자 Grice의 대화 격률을 조사 상황에 적용했다. 일상 대화에서 사람들은 상대가 관련 있는 말만, 필요한 만큼만 한다고 가정하고 발화를 해석한다. 응답자도 마찬가지다. 질문지에 인쇄된 모든 요소, 즉 응답 척도의 범위, 척도에 붙은 숫자, 문항의 순서, 앞 문항의 내용을 조사자의 의도가 담긴 정보로 읽는다.

그림 5. 척도에 붙인 숫자만 바꿔도 응답 분포가 달라진다. 0~10 척도에서는 34%가 하위 절반을 골랐지만, 같은 문항을 −5~+5 척도로 제시하자 13%로 줄었다(Schwarz 외, 1991).

위 실험이 대표적이다. '인생에서 얼마나 성공했다고 생각하는가'를 11점 척도로 물었는데, 척도 숫자를 0~10으로 붙였을 때는 34%가 하위 절반(0~5)을 골랐지만 −5~+5로 붙였을 때는 13%만 하위 절반(−5~0)을 골랐다. 응답자들이 음수를 '성공의 부재'가 아니라 '명백한 실패'로 읽었기 때문이다. 척도 형식은 중립적인 그릇이 아니라 그 자체로 의미를 전달하는 메시지라는 것, 이것이 Schwarz가 남긴 교훈이다.

6. 지금의 표준은 무엇인가

현재 가장 널리 받아들여지는 것은 Tourangeau의 4단계 모델이다. 인지 인터뷰(cognitive interviewing)의 프로빙 설계가 네 단계별로 조직되고, 측정오차의 원인을 진단할 때도 어느 단계에서 문제가 생겼는지를 따지는 방식이 표준이 됐다. AAPOR와 유럽 통계기관들의 질문지 사전검증 지침도 대부분 이 틀 위에 있다.

다만 4단계 모델이 다른 이론을 밀어냈다고 보면 곤란하다. 정확히는 4단계 모델이 뼈대 역할을 하고 나머지 이론이 그 위에 얹혀 있는 구조다. 만족화 이론은 네 단계가 왜, 언제 부실하게 수행되는지를 설명하는 보완 이론으로 함께 인용된다. Schwarz의 대화적 접근은 이해 단계의 작동 방식을 구체화한 것으로 흡수됐다. Strack & Martin의 두 경로는 태도 문항의 인출·판단 단계를 설명하는 하위 이론이 됐다. 그래서 최근 문헌은 4단계를 기본 틀로 두고 만족화와 대화적 해석을 하위 메커니즘으로 통합해 서술하는 것이 일반적이다.

변화가 없는 것은 아니다. 웹조사와 모바일 조사가 표준이 되면서 4단계 모델에 시각적 처리 과정을 추가해야 한다는 논의가 이어졌다. Couper를 중심으로 한 시각 설계(visual design) 연구는 화면 배치, 보기 배열, 입력 방식 자체가 이해 단계와 응답 단계에 개입한다는 것을 보여줬다. 면접원이 없는 자기기입식 환경에서는 응답 동기를 관리할 수단이 줄어들기 때문에 만족화 이론의 설명력이 더 커졌다는 평가도 있다.

7. 모바일 웹조사 실무에 주는 시사점

문자로 조사 URL을 받아 스마트폰 화면에서 응답하는 방식을 기준으로 생각해 보면, 네 단계 각각에 대응하는 설계 과제가 있다. 이해 단계에서는 작은 화면이 제약이다. 스크롤 없이 한눈에 들어오는 문장 길이, 보기가 화면 아래로 잘리지 않는 배치가 어휘 선택만큼 중요해진다. 인출 단계에서는 회상 기간을 짧게 잡고, 필요하면 기준 사건을 제시하는 경계 설정(bounding)이 유효하다. 판단 단계에서는 격자형 문항을 줄이는 것이 우선이다. 격자는 비차별화가 가장 잘 관찰되는 형식이다. 응답 단계에서는 척도 숫자와 배열이 전달하는 암묵적 메시지를 점검해야 한다.

무엇보다 만족화 이론의 세 요인 중 실무자가 통제할 수 있는 것은 과제 난이도뿐이라는 사실을 기억할 필요가 있다. 응답자의 능력은 주어진 조건이고, 문자로 유입된 응답자의 동기는 대체로 높지 않다. 결국 문항을 쉽게, 짧게, 명확하게 만드는 것이 만족화를 줄이는 거의 유일한 수단이다. 응답 인지과정 이론이 40년 전 이론에 머물지 않고 지금도 실무 지침의 근거로 살아 있는 이유다.

참고문헌

Cannell, C. F., Miller, P. V., & Oksenberg, L. (1981). Research on interviewing techniques. Sociological Methodology, 12, 389–437.

Tourangeau, R. (1984). Cognitive sciences and survey methods. In T. Jabine et al. (Eds.), Cognitive Aspects of Survey Methodology: Building a Bridge Between Disciplines. National Academy Press.

Strack, F., & Martin, L. L. (1987). Thinking, judging, and communicating: A process account of context effects in attitude surveys. In H. J. Hippler, N. Schwarz, & S. Sudman (Eds.), Social Information Processing and Survey Methodology. Springer.

Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236.

Schwarz, N., Knäuper, B., Hippler, H. J., Noelle-Neumann, E., & Clark, L. (1991). Rating scales: Numeric values may change the meaning of scale labels. Public Opinion Quarterly, 55(4), 570–582.

Schwarz, N. (1996). Cognition and Communication: Judgmental Biases, Research Methods, and the Logic of Conversation. Erlbaum.

Sudman, S., Bradburn, N. M., & Schwarz, N. (1996). Thinking About Answers: The Application of Cognitive Processes to Survey Methodology. Jossey-Bass.

Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.

Couper, M. P. (2008). Designing Effective Web Surveys. Cambridge University Press.