모델이 좋아지면 신세틱 서베이도 좋아질까: 정량과 정성은 다른 게임이다

 

모델이 좋아지면 신세틱 서베이도 좋아질까: 정량과 정성은 다른 게임이다

AGI 질문에서 시작된 이야기

요즘 신세틱 서베이 이야기를 하다 보면 반드시 나오는 질문이 있다. LLM이 계속 발전해서 AGI에 가까워지면, 신세틱 서베이의 정합성도 따라서 좋아지느냐는 것이다. 모델이 사람처럼 생각하게 되면 사람의 응답도 잘 흉내 내지 않겠느냐는 직관이다. 그럴듯하게 들리지만, 나는 절반만 맞는 이야기라고 본다. 그리고 그 절반이 어느 쪽 절반이냐가 정량조사와 정성조사에서 갈린다. 결론부터 말하면 정량은 모델 지능이 아무리 올라가도 풀리지 않는 문제를 안고 있고, 정성은 모델 발전의 수혜를 직접 받되 그 수혜가 미치지 않는 한계가 하나 남는다. 이 글은 그 구분을 정리해보려는 시도다.

정량은 분포의 게임이다

정량조사의 산출물은 분포다. 어떤 정책에 찬성이 47퍼센트냐 53퍼센트냐, 지지율이 오차범위 안이냐 밖이냐를 맞히는 게임이다. 신세틱 정량 서베이의 정합성이란 결국 가상 응답자 집단이 만들어낸 분포가 실제 조사의 분포에 얼마나 근접하느냐의 문제다.

여기서 오차가 어디서 나오는지를 따져봐야 한다. 첫 번째 출처는 학습 데이터의 분포 편향이다. LLM은 인터넷에 축적된 텍스트로 학습된다. 그런데 온라인에 글을 남기는 사람과 조사의 모집단은 다른 집단이다. 글을 많이 쓰는 사람일수록 젊고, 교육 수준이 높고, 의견이 강하다. 70대 농촌 거주자의 정책 태도는 온라인 텍스트에 그 사람의 인구 비중만큼 기록되어 있지 않다. 이 편향은 모델이 똑똑해진다고 해소되지 않는다. AGI가 되어도 학습 데이터에 충분히 기록되지 않은 집단의 의견 분포는 알 수 없다. 더 그럴듯하게 추정할 수 있을 뿐이다. 그리고 그럴듯한 추정과 맞는 추정은 다른 것이다. 조사 방법론에서 표집틀에 없는 사람은 아무리 정교한 가중치로도 완전히 복원되지 않는다는 것과 같은 이치다. 커버리지 오차는 통계 처리의 문제가 아니라 자료의 문제다.

두 번째 출처가 더 흥미로운데, 모델이 너무 똑똑해지면 도리어 악화될 수 있는 부분이다. 실제 응답자는 비일관적이다. 문항을 대충 읽고, 잘 모르는 주제에도 답하고, 어제와 오늘 답이 다르다. 컨버스가 제기한 무태도 응답, 크로스닉이 정리한 만족화 응답 개념이 가리키는 그대로다. 여론조사 원자료의 상당 부분은 숙고의 산물이 아니라 문항당 5초에서 10초 사이에 이루어지는 즉답으로 채워져 있다. 나는 인간의 설문 응답이 투랑조의 4단계 인지 모델이 그리는 것만큼 합리적이고 순차적인 과정이라고 보지 않는다. 이해하고, 인출하고, 판단하고, 응답을 맞춘다는 네 단계를 다 거치기에 5초는 너무 짧다.

그런데 지능이 높은 모델일수록 논리적으로 정합적인 답을 내놓으려는 경향이 강해진다. 앞 문항의 답과 뒤 문항의 답이 모순되지 않도록 조율하고, 잘 모르는 주제에는 유보하고, 극단을 피한다. 사람의 무지와 비합리와 모순까지 재현해야 분포가 맞아떨어지는데, 모델 발전의 방향은 정반대를 향한다. 여기에 정렬 학습의 효과가 겹친다. 상용 LLM은 무난하고 온건한 답변을 내놓도록 훈련된다. 그 결과 강한 의견을 가진 응답자층이 체계적으로 과소 재현된다. 무당층과 유보층과 모름 응답의 비율을 맞히는 일, 그러니까 태도가 없는 사람의 비율을 맞히는 일은 신세틱 정량에서 가장 어려운 과제 중 하나인데, 이것은 지능의 문제가 아니라 훈련 방식의 문제다.

그래서 정량 신세틱의 정합성을 끌어올리는 열쇠는 모델의 범용 지능이 아니라 실측 데이터로 하는 보정에 있다고 본다. 같은 문항을 실제 조사와 신세틱 조사에 동시에 태워보고, 어느 집단에서 어느 주제일 때 얼마나 어긋나는지 오차 구조를 축적하는 것이다. 성별로, 연령으로, 이념 성향으로, 문항 유형으로 오차의 패턴이 쌓이면 그것 자체가 보정 모형의 재료가 된다. 이 게임에서 유리한 쪽은 더 좋은 모델을 쓰는 쪽이 아니라 실사 데이터를 계속 만들어내는 쪽이다. 조사회사가 신세틱 서베이 시대에도 무기를 쥐고 있다면 바로 이 실측 자산이다. 모델이 좋아지기를 기다리는 전략은 정량에서는 이길 수 없는 전략이다.

정성은 재현의 게임이다

정성조사는 계산이 다르다. 정성조사에서 클라이언트가 사는 것은 분포가 아니다. 이유와 언어다. 왜 그렇게 생각하는지, 그 생각을 어떤 표현으로 말하는지, 찬성한다면서도 어떤 조건을 다는지, 어떤 생활 경험이 그 태도의 근거로 동원되는지다. 백분율이 아니라 구술이 산출물이다.

이것은 분포 추정의 문제가 아니라 그럴듯한 인간 재현의 문제다. 그리고 인간 재현은 모델 지능이 올라가면 직접적으로 좋아지는 영역이다. 지금 모델들도 조건을 주면 해당 집단의 전형을 연기하는 수준은 된다. 50대 자영업자, 대구 거주, 고졸이라는 속성을 주면 그 집단이 할 법한 말을 만들어낸다. 더 발전한 모델은 여기서 나아가 그 사람이 처한 경제 사정과 세대 경험과 지역 정서가 특정 정책 앞에서 어떻게 충돌하는지까지 추론할 것이다. 최저임금 인상에 대한 자영업자의 태도가 노동자였던 과거 경험과 고용주인 현재 처지 사이에서 흔들리는 것 같은 내적 긴장 말이다. 모더레이터가 예정에 없던 추가 질문을 던졌을 때 일관된 세계관으로 반응하는 능력, 문항 워딩의 미묘한 차이에 사람처럼 다르게 반응하는 능력도 계속 나아질 것이다.

그래서 나는 신세틱 IDI와 신세틱 FGD가 신세틱 정량보다 먼저 실무에 자리 잡을 것이라고 본다. 실제로 지금 수준의 모델로도 쓸모가 있는 용도들이 있다. 본조사 전에 가설을 발굴하는 용도, 설문 문항을 사전 테스트하는 용도, 인터뷰 가이드를 리허설하는 용도다. 실제 좌담회를 열기 전에 가상 참석자들에게 가이드를 한 바퀴 돌려보면 어떤 질문이 헛돌고 어떤 질문에서 이야기가 터지는지 미리 볼 수 있다. 이 정도만 해도 실사 한 회차의 실패 비용을 생각하면 값어치를 한다.

그러나 발견은 못 한다

다만 정성에도 모델 발전이 해결해주지 못하는 한계가 하나 있다. 정성조사의 진짜 가치는 조사자가 예상하지 못한 것이 튀어나올 때 생긴다. 설계 단계에서는 존재하는 줄도 몰랐던 불만, 소비자들 사이에서만 통용되는 은어, 제품을 엉뚱한 용도로 쓰는 관행 같은 것들이다. 발주처가 정성조사에 기대하는 것도 결국 이것이다. 우리가 몰랐던 게 있었다는 문장을 보고서에서 만나는 일 말이다.

그런데 모델은 학습 데이터 안에서 그럴듯한 것을 재조합한다. 세상에 새로 등장한 불만, 학습 시점 이후에 형성된 정서, 아직 텍스트로 기록된 적 없는 관행은 만들어낼 수 없다. 만들어낸다면 그것은 발견이 아니라 창작이고, 조사 산출물로서는 오염이다. 그러니까 신세틱 정성은 사람들이 대체로 이렇게 말할 것이라는 예행연습으로는 강력하지만, 우리가 몰랐던 것을 찾아내는 도구는 되기 어렵다. 재현과 발견 사이에 선이 있고, 신세틱은 그 선의 재현 쪽에 서 있다.

마케팅 정성과 공공 정성은 원하는 것이 다르다

여기까지 오면 정성조사를 하나로 묶어서 말하기 어렵다는 것이 드러난다. 발견의 한계가 치명적인 시장이 있고, 별문제가 되지 않는 시장이 있기 때문이다.

마케팅 정성조사는 발주 동기 자체가 불확실성 해소다. 우리가 모르는 미충족 니즈, 예상 못한 사용 장면, 아직 언어화되지 않은 불만을 찾으려고 돈을 쓴다. 신제품 컨셉 테스트든 사용성 조사든, 클라이언트가 원하는 것은 자기들이 이미 아는 이야기의 확인이 아니라 모르던 이야기의 출현이다. 신세틱이 구조적으로 가장 약한 자리에 수요의 무게중심이 놓여 있는 셈이다. 마케팅 정성에서 신세틱은 실사 전 리허설 이상의 자리를 차지하기 어렵다고 보는 이유다.

공공과 사회조사 영역의 정성은 사정이 다르다. 솔직하게 말하면, 공공 정성조사는 결론의 방향이 대강 정해진 상태에서 발주되는 경우가 적지 않다. 정책은 이미 설계되어 있고, 필요한 것은 보고서에 들어갈 주민의 목소리다. 수용성 논거를 받쳐줄 인용문, 집단별 반응의 예시, 이해관계자 유형별 우려 사항의 정리 같은 것들이다. 여기서 요구되는 것은 발견이 아니라 재현이다. 40대 자영업자는 이런 식으로 말한다, 고령층은 이 부분을 걱정한다는 수준의 그럴듯함이면 산출물로 기능한다. 그리고 그것은 신세틱이 이미 잘하고 앞으로 더 잘할 일이다.

실사 여건도 이 방향을 거든다. 공공 정성조사는 대상자 리크루팅이 어렵다. 특정 정책의 이해관계자를 조건에 맞게 모으는 일은 소비자 패널에서 뽑는 일보다 훨씬 품이 들고, 사례비 대비 참여 동기도 약하다. 실사의 고충이 큰 영역일수록 대체재의 유인은 커진다. 신세틱 정성의 시장이 열린다면 마케팅보다 공공 쪽이 먼저라고 보는 근거다.

절차라는 변수

다만 공공 영역에는 다른 종류의 장벽이 하나 있다. 공공 정성조사의 가치에는 내용만이 아니라 절차가 포함되어 있다는 점이다. 주민 의견을 실제로 들었다는 사실 자체가 정책의 정당성 근거가 되는 구조다. 공청회가 요식이라는 비판을 받으면서도 사라지지 않는 것과 같은 이치다. 들었다는 절차가 남아야 한다.

그래서 산출물이 아무리 그럴듯해도 실제 사람을 만나지 않았다는 사실이 발주처에는 문제가 될 수 있다. 감사 대응이나 민원 상황에서 AI가 만든 주민 의견이라는 표현이 등장하는 순간, 조사의 품질과 무관하게 사업 전체가 흔들린다. 이것은 방법론의 문제가 아니라 행정의 문제이고, 모델이 발전한다고 풀리는 문제도 아니다.

그렇다면 공공 영역에서 신세틱 정성이 자리 잡는 경로는 본조사 대체가 아니다. 조사 설계 전의 사전 탐색, 인터뷰 가이드의 검증, 실사 결과의 보강 같은 이름을 달고 들어가야 한다. 실사 IDI 몇 건을 앵커로 두고 신세틱으로 유형과 폭을 넓히는 하이브리드 구성이라면, 실제로 들었다는 절차 요건과 납품 물량을 동시에 채울 수 있다. 실측 표본이 신세틱 결과의 검증 장치 역할을 겸하니 방법론적으로도 변명이 선다. 정량에서 실측 보정 표본을 붙이는 논리가 정성에서도 같은 방식으로 작동하는 것이다.

기다리는 쪽과 축적하는 쪽

정리하면 이렇다. 정량 신세틱의 정합성은 모델 지능의 함수가 아니라 보정 데이터의 함수다. 학습 데이터의 편향은 지능으로 풀리지 않고, 무태도와 만족화의 재현은 모델 발전 방향과 어긋난다. 이 게임의 승부처는 실측 조사와 신세틱 조사를 나란히 돌리며 오차 구조를 쌓는 데 있다. 정성 신세틱은 모델 발전의 수혜를 직접 받는다. 다만 발견이 아니라 재현의 도구라는 성격은 바뀌지 않으며, 그 성격 때문에 발견을 사려는 마케팅 정성보다 그럴듯한 구술을 사려는 공공 정성에서 먼저 쓸모를 인정받을 것이다. 공공에서는 절차적 정당성이라는 관문이 남지만, 실사 앵커를 둔 하이브리드 구성으로 우회할 길이 있다.

모델이 좋아지면 신세틱 서베이도 좋아지느냐는 질문으로 돌아가면, 답은 이렇게 된다. 좋아지는 부분이 있고, 좋아지지 않는 부분이 있고, 나빠질 수 있는 부분도 있다. 그 셋을 구분하지 않고 모델 발전을 기다리는 쪽과, 구분한 다음 자기 실측 자산으로 오차를 축적하는 쪽이 있다면, 몇 년 뒤 신세틱 서베이를 상품으로 팔 수 있는 쪽은 후자다. 신세틱 서베이의 미래는 모델 성능표가 아니라 조사 설계자의 손에 달려 있다.

응답자는 설문에 어떻게 답하는가

 

응답자는 설문에 어떻게 답하는가

응답 인지과정 이론의 전개와 현재의 표준

설문 문항 하나에 답하는 데 걸리는 시간은 보통 몇 초에 불과하다. 그러나 그 몇 초 동안 응답자의 머릿속에서는 꽤 복잡한 작업이 진행된다. 질문을 읽고, 무엇을 묻는지 해석하고, 기억을 뒤지고, 흩어진 정보를 하나의 판단으로 만들고, 그 판단을 주어진 보기 중 하나에 맞춰 넣는다. 이 과정 어디에서든 오류가 생길 수 있고, 그 오류가 쌓인 것이 측정오차다. 응답 인지과정 이론은 바로 이 몇 초를 분해해서 보는 이론이다.

이 분야가 체계를 갖춘 것은 1980년대다. 1983년 미국에서 열린 CASM(Cognitive Aspects of Survey Methodology) 세미나를 계기로 인지심리학자와 조사방법론자가 같은 문제를 놓고 협업하기 시작했고, 이후 십여 년 사이에 오늘날까지 인용되는 주요 모델이 대부분 나왔다. 시기순으로 하나씩 살펴본다.

그림 1. 응답 인지과정 이론의 전개(1981~2008). 위아래로 번갈아 배치했을 뿐 계열 구분은 없다.

1. Cannell, Miller & Oksenberg(1981): 두 갈래 길

체계적인 모델로는 가장 이른 것이 Cannell과 동료들의 작업이다. 이들은 면접조사에서 응답이 만들어지는 경로를 둘로 나눴다. 하나는 질문을 제대로 이해하고 기억을 성실히 뒤져서 정답에 가까운 응답을 내놓는 경로다. 다른 하나는 그 과정을 건너뛰는 지름길이다. 지름길을 택한 응답자는 사회적으로 바람직해 보이는 답, 면접원의 표정이나 말투가 암시하는 답, 앞 질문에서 이미 했던 답에 기대어 대충 답한다.

응답의 질이 갈라지는 두 경로를 명시적으로 제시했다는 점에서 이 모델은 10년 뒤 등장하는 만족화 이론의 원형이 됐다. 면접원 행동 표준화, 응답자 서약(commitment) 절차, 피드백 기법 같은 실무 처방도 이 모델에서 나왔다.

2. Tourangeau(1984): 4단계 모델

Tourangeau는 응답 과정을 이해(comprehension), 인출(retrieval), 판단(judgment), 응답(response)의 네 단계로 나눴다. 응답자는 먼저 질문의 어휘와 구문을 해석하고 질문자의 의도를 추론한다. 다음으로 관련 정보를 기억에서 꺼내고, 빠진 부분은 추론으로 메운다. 꺼낸 정보를 통합해 하나의 판단을 만들고, 마지막으로 그 판단을 주어진 응답 범주에 대응시켜 보고한다. 민감한 문항에서 답을 다듬는 응답 편집(editing)은 이 마지막 단계에서 일어난다.

그림 2. Tourangeau의 4단계 모델. 각 단계 아래에 대표적인 하위 과정을 표시했다. 단계 간 이동은 반드시 순차적이지 않으며, 되돌아가거나 건너뛸 수 있다.

이 모델의 강점은 진단 도구로서의 쓸모다. 어떤 문항에서 이상한 응답 분포가 나왔을 때, 문제가 이해 단계에 있는지(어휘가 어렵다, 이중 질문이다), 인출 단계에 있는지(회상 기간이 너무 길다), 판단 단계에 있는지(추정 전략이 문항마다 다르다), 응답 단계에 있는지(보기가 응답자의 판단과 맞지 않는다, 민감해서 숨긴다)를 구분해서 따질 수 있다. 2000년에 Tourangeau, Rips & Rasinski가 펴낸 『The Psychology of Survey Response』는 이 틀을 정교화한 책으로, 이 분야의 표준 교과서로 자리 잡았다.

3. Strack & Martin(1987): 태도 응답의 두 경로

사실 문항과 달리 태도 문항에는 별도의 논의가 붙는다. Strack과 Martin은 태도 질문에 답할 때 두 가지 경로가 있다고 봤다. 하나는 이미 형성해 둔 판단을 기억에서 꺼내 그대로 보고하는 경로다. 다른 하나는 저장된 판단이 없거나 꺼내기 어려울 때, 그 순간 머리에 떠오르는 정보만으로 즉석에서 판단을 새로 만드는 경로다.

그림 3. Strack & Martin의 두 경로 모델. 즉석 구성 경로에서는 그 순간 접근 가능한 정보가 무엇이냐에 따라 응답이 달라진다.

이 구분이 중요한 이유는 즉석 구성 경로의 함의 때문이다. 태도가 서류철처럼 저장돼 있다가 인출되는 게 아니라 질문받는 순간 접근 가능한 정보로 만들어진다면, 앞 문항이 무엇이었는지, 응답 척도가 어떻게 생겼는지에 따라 같은 사람의 응답이 달라질 수 있다. 문항 순서 효과와 응답 척도 효과(context effects)를 설명하는 이론적 기반이 여기서 나왔고, 이후 태도 구성론(attitudes-as-constructions)과 신념 표집(belief-sampling) 모델로 발전했다.

4. Krosnick(1991): 만족화 이론

Krosnick의 만족화(satisficing) 이론은 4단계 모델을 전제로 하되, 응답자가 네 단계를 얼마나 성실히 수행하는지에 주목한다. 네 단계를 모두 충실히 밟는 것이 최적화(optimizing)다. 반대로 인지적 노력을 아끼기 위해 단계를 피상적으로 수행하는 것이 약한 만족화, 인출과 판단 단계를 아예 생략하고 그럴듯한 답을 고르는 것이 강한 만족화다.

그림 4. 최적화와 만족화. 어느 경로를 타는지는 과제 난이도, 응답자 능력, 응답 동기 세 요인의 함수다.

만족화가 일어날 확률은 세 가지 요인으로 결정된다. 과제가 어려울수록, 응답자의 인지 능력이 낮을수록, 응답 동기가 약할수록 만족화 가능성이 커진다. 이 단순한 공식이 강력한 이유는 실무에서 관찰되는 여러 응답 행동을 하나의 원리로 설명하기 때문이다. 보기 첫 번째를 고르는 초두 효과, '그렇다'로 일관하는 묵종 편향, 중간값으로 도피하는 경향, 격자형 문항에서 한 줄로 찍는 비차별화(non-differentiation), 손쉬운 '모름' 선택이 모두 만족화의 발현으로 해석된다. 설문 길이를 줄이고 문항을 쉽게 쓰라는 실무 지침의 이론적 근거가 여기에 있다.

5. Schwarz(1990년대): 설문은 대화다

Schwarz의 기여는 이해 단계를 다시 정의한 것이다. 그는 언어철학자 Grice의 대화 격률을 조사 상황에 적용했다. 일상 대화에서 사람들은 상대가 관련 있는 말만, 필요한 만큼만 한다고 가정하고 발화를 해석한다. 응답자도 마찬가지다. 질문지에 인쇄된 모든 요소, 즉 응답 척도의 범위, 척도에 붙은 숫자, 문항의 순서, 앞 문항의 내용을 조사자의 의도가 담긴 정보로 읽는다.

그림 5. 척도에 붙인 숫자만 바꿔도 응답 분포가 달라진다. 0~10 척도에서는 34%가 하위 절반을 골랐지만, 같은 문항을 −5~+5 척도로 제시하자 13%로 줄었다(Schwarz 외, 1991).

위 실험이 대표적이다. '인생에서 얼마나 성공했다고 생각하는가'를 11점 척도로 물었는데, 척도 숫자를 0~10으로 붙였을 때는 34%가 하위 절반(0~5)을 골랐지만 −5~+5로 붙였을 때는 13%만 하위 절반(−5~0)을 골랐다. 응답자들이 음수를 '성공의 부재'가 아니라 '명백한 실패'로 읽었기 때문이다. 척도 형식은 중립적인 그릇이 아니라 그 자체로 의미를 전달하는 메시지라는 것, 이것이 Schwarz가 남긴 교훈이다.

6. 지금의 표준은 무엇인가

현재 가장 널리 받아들여지는 것은 Tourangeau의 4단계 모델이다. 인지 인터뷰(cognitive interviewing)의 프로빙 설계가 네 단계별로 조직되고, 측정오차의 원인을 진단할 때도 어느 단계에서 문제가 생겼는지를 따지는 방식이 표준이 됐다. AAPOR와 유럽 통계기관들의 질문지 사전검증 지침도 대부분 이 틀 위에 있다.

다만 4단계 모델이 다른 이론을 밀어냈다고 보면 곤란하다. 정확히는 4단계 모델이 뼈대 역할을 하고 나머지 이론이 그 위에 얹혀 있는 구조다. 만족화 이론은 네 단계가 왜, 언제 부실하게 수행되는지를 설명하는 보완 이론으로 함께 인용된다. Schwarz의 대화적 접근은 이해 단계의 작동 방식을 구체화한 것으로 흡수됐다. Strack & Martin의 두 경로는 태도 문항의 인출·판단 단계를 설명하는 하위 이론이 됐다. 그래서 최근 문헌은 4단계를 기본 틀로 두고 만족화와 대화적 해석을 하위 메커니즘으로 통합해 서술하는 것이 일반적이다.

변화가 없는 것은 아니다. 웹조사와 모바일 조사가 표준이 되면서 4단계 모델에 시각적 처리 과정을 추가해야 한다는 논의가 이어졌다. Couper를 중심으로 한 시각 설계(visual design) 연구는 화면 배치, 보기 배열, 입력 방식 자체가 이해 단계와 응답 단계에 개입한다는 것을 보여줬다. 면접원이 없는 자기기입식 환경에서는 응답 동기를 관리할 수단이 줄어들기 때문에 만족화 이론의 설명력이 더 커졌다는 평가도 있다.

7. 모바일 웹조사 실무에 주는 시사점

문자로 조사 URL을 받아 스마트폰 화면에서 응답하는 방식을 기준으로 생각해 보면, 네 단계 각각에 대응하는 설계 과제가 있다. 이해 단계에서는 작은 화면이 제약이다. 스크롤 없이 한눈에 들어오는 문장 길이, 보기가 화면 아래로 잘리지 않는 배치가 어휘 선택만큼 중요해진다. 인출 단계에서는 회상 기간을 짧게 잡고, 필요하면 기준 사건을 제시하는 경계 설정(bounding)이 유효하다. 판단 단계에서는 격자형 문항을 줄이는 것이 우선이다. 격자는 비차별화가 가장 잘 관찰되는 형식이다. 응답 단계에서는 척도 숫자와 배열이 전달하는 암묵적 메시지를 점검해야 한다.

무엇보다 만족화 이론의 세 요인 중 실무자가 통제할 수 있는 것은 과제 난이도뿐이라는 사실을 기억할 필요가 있다. 응답자의 능력은 주어진 조건이고, 문자로 유입된 응답자의 동기는 대체로 높지 않다. 결국 문항을 쉽게, 짧게, 명확하게 만드는 것이 만족화를 줄이는 거의 유일한 수단이다. 응답 인지과정 이론이 40년 전 이론에 머물지 않고 지금도 실무 지침의 근거로 살아 있는 이유다.

참고문헌

Cannell, C. F., Miller, P. V., & Oksenberg, L. (1981). Research on interviewing techniques. Sociological Methodology, 12, 389–437.

Tourangeau, R. (1984). Cognitive sciences and survey methods. In T. Jabine et al. (Eds.), Cognitive Aspects of Survey Methodology: Building a Bridge Between Disciplines. National Academy Press.

Strack, F., & Martin, L. L. (1987). Thinking, judging, and communicating: A process account of context effects in attitude surveys. In H. J. Hippler, N. Schwarz, & S. Sudman (Eds.), Social Information Processing and Survey Methodology. Springer.

Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236.

Schwarz, N., Knäuper, B., Hippler, H. J., Noelle-Neumann, E., & Clark, L. (1991). Rating scales: Numeric values may change the meaning of scale labels. Public Opinion Quarterly, 55(4), 570–582.

Schwarz, N. (1996). Cognition and Communication: Judgmental Biases, Research Methods, and the Logic of Conversation. Erlbaum.

Sudman, S., Bradburn, N. M., & Schwarz, N. (1996). Thinking About Answers: The Application of Cognitive Processes to Survey Methodology. Jossey-Bass.

Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.

Couper, M. P. (2008). Designing Effective Web Surveys. Cambridge University Press.

순위 문항, 어떻게 묻고 어떻게 집계할 것인가

 

순위 문항, 어떻게 묻고 어떻게 집계할 것인가

조사표 설계에서 순위형 문항의 자리

선호를 묻는 문항 형식은 크게 세 가지다. 하나만 고르게 하는 단일선택, 해당하는 것을 모두 고르게 하는 복수응답, 그리고 좋아하는 순서대로 번호를 매기게 하는 순위 문항이다. 이 중 순위 문항은 조사표 안에서 어정쩡한 위치에 있다. 단일선택보다 정보가 많고 복수응답보다 정교하지만, 응답자에게 요구하는 것도 그만큼 많다. 후보 정책 스무 개를 놓고 우선순위를 매겨 달라는 요청은 응답자 입장에서 상당한 노동이다. 그래서 순위 문항은 쓸 때마다 두 가지 질문이 따라붙는다. 몇 순위까지 물을 것인가, 그리고 받은 순위를 어떻게 집계할 것인가.

몇 순위까지 물을 것인가

교과서적으로는 항목 전체에 순위를 매기게 하는 완전 순위와 상위 몇 개만 고르게 하는 부분 순위로 나뉜다. 실무의 답은 대체로 부분 순위, 그것도 1순위와 2순위, 많아야 3순위까지다. 이유는 응답 품질에 있다. 항목이 예닐곱 개를 넘어가면 하위 순위는 사실상 무작위에 가까워진다. 응답자는 위쪽 두세 개는 진지하게 고르지만, 다섯째와 여섯째의 차이에는 별 생각이 없다. 그렇게 받은 하위 순위를 분석에 쓰면 잡음을 신호로 착각하게 된다. 어차피 못 쓸 데이터라면 처음부터 묻지 않는 편이 응답 부담도 줄이고 중도이탈도 막는다.

모바일 웹 조사 환경에서는 이 문제가 더 커진다. PC 화면에서는 항목을 끌어다 놓는 드래그 방식이 그럭저럭 작동하지만, 스마트폰의 좁은 화면에서 드래그는 오작동과 이탈의 원인이 된다. 순위 개수만큼 문항을 쪼개서 1순위를 고르게 하고, 남은 항목 중에서 2순위를 고르게 하는 순차 선택 방식이 모바일에서는 안정적이다. 이 방식은 화면상 단일선택 문항 두 개와 같아서 응답자 학습 비용이 없고, 1순위로 고른 항목이 2순위 선택지에서 자동으로 빠지도록 프로그래밍하면 논리 오류도 차단된다. 대신 문항 수가 늘어나는 만큼 순위를 세 개 이상 받는 것은 다시 부담이 된다. 모바일 조사에서 1, 2순위 정도로 끊는 관행에는 이런 배경이 있다.

제시 순서 효과도 순위 문항에서 유난히 크다. 목록형 문항은 어떤 형식이든 앞쪽 항목이 유리한 초두효과를 갖지만, 순위 문항은 응답자가 목록을 여러 번 훑어야 하므로 피로가 쌓일수록 앞쪽 항목으로 회귀하는 경향이 강해진다. 항목 제시 순서의 로테이션은 순위 문항에서는 선택이 아니라 필수다.

1순위와 1+2순위, 실무 집계의 기본형

순위를 받아 놓고 나면 집계 방법을 정해야 한다. 실무에서 가장 널리 쓰이는 방식은 두 가지 수치를 나란히 놓는 것이다. 1순위 응답 비율, 그리고 1순위와 2순위를 합친 비율이다. 1+2순위 비율은 각 항목이 응답자의 상위 두 순위 안에 든 비율이므로 합계가 100%를 넘는다는 점만 명시하면 해석에 아무 무리가 없다.

이 두 수치는 각각 다른 것을 보여준다. 1순위 비율은 지지의 강도다. 그 항목을 첫손에 꼽는 사람이 얼마나 되는가를 말해준다. 1+2순위 비율은 지지의 폭이다. 첫손은 아니어도 수용할 수 있다고 여기는 사람까지 포함한 범위다. 두 수치의 격차가 곧 정보다. 1순위에서는 앞서는데 1+2순위에서 따라잡히는 항목은 좋아하는 사람은 확실하지만 확장성이 없는 항목이고, 1순위는 낮은데 1+2순위에서 치고 올라오는 항목은 두루 무난하게 받아들여지는 항목이다. 단일선택 문항이었다면 전자만 보였을 것이고, 복수응답 문항이었다면 둘이 구분되지 않았을 것이다. 순위 문항의 값어치는 사실 이 두 수치의 대비에서 대부분 실현된다.

보고서에 담을 때는 1+2순위 비율을 기준으로 항목을 정렬하고 1순위 비율을 병기하는 편이 읽기 좋다. 상위 순위 안에 들어오는 폭이 대개 의사결정에 더 유용한 정보이고, 강도가 궁금한 독자는 병기된 1순위 열에서 확인하면 되기 때문이다.

가중치를 주는 방법들

순위 정보를 더 쓰고 싶다면 순위별로 점수를 매겨 합산하는 방법이 있다. 고전적인 것이 보르다 카운트다. 항목이 n개일 때 1순위에 n점, 2순위에 n-1점 하는 식으로 점수를 배정해 합산한다. 실무에서는 항목 수와 무관하게 1순위 2점, 2순위 1점처럼 단순화한 변형이 흔하다. 1순위 1점, 2순위 2분의 1점, 3순위 3분의 1점처럼 조화수열로 감쇠시키는 다우달 방식도 있는데, 상위 순위의 비중을 크게 잡고 싶을 때 쓴다.

가중 합산의 약점은 가중치 자체에 근거가 없다는 것이다. 2순위가 1순위의 절반 가치라는 판단은 분석자의 결정이지 데이터에서 나온 것이 아니다. 가중치를 어떻게 잡느냐에 따라 항목 서열이 뒤집히는 경우가 실제로 생기고, 그때 어느 서열이 맞느냐는 질문에 답할 방법이 없다. 결과 수치의 해석도 어렵다. 보르다 점수 3.2점이 높은 것인지 낮은 것인지는 아무도 직관적으로 알지 못한다. 비율로 표현되지 않는 수치는 보고서 밖으로 나가는 순간 소통에 실패한다.

가중치 문제를 데이터 쪽에 넘기는 방법도 있다. 순위 로짓 모형, 혹은 플래킷-루스 모형은 순위를 매기는 행위를 연속된 선택으로 본다. 응답자가 전체 중에서 1순위를 고르고, 남은 것 중에서 2순위를 고른다는 과정을 모형화해서 각 항목의 효용을 추정하는 것이다. 점수를 분석자가 정하지 않고 추정한다는 면에서 보르다류보다 정당화가 되고, 개인 수준의 선호 파라미터가 나오므로 세분화 분석이나 다른 변수와의 결합도 가능하다. 다만 일반 보고서에 넣기에는 설명 비용이 크고, 상위 두어 순위만 받은 부분 순위 데이터에서는 추정할 수 있는 정보 자체가 제한적이다.

순위 문항 자체의 대안으로는 맥스디프가 있다. 항목을 몇 개씩 묶은 세트를 여러 번 보여주고 매번 가장 좋은 것과 가장 나쁜 것만 고르게 하는 방식이다. 순위를 매기는 부담 없이 개인별 선호 점수를 얻을 수 있어 상품 컨셉 평가나 항목이 많은 우선순위 조사에서 쓰임새가 있다. 대신 세트를 여러 번 반복해야 하므로 문항 수가 늘어나, 짧게 끝내야 하는 모바일 조사에는 부담스럽다.

복잡한 방법이 필요한 경우

그렇다면 언제 단순 집계로 충분하고 언제 가중이나 모형이 필요한가. 갈림길은 분석의 목적이 묘사인가 판정인가에 있다.

공표를 전제로 한 조사, 여러 독자가 읽는 보고서라면 답은 거의 언제나 단순 집계다. 1순위와 1+2순위 비율은 통계표만 있으면 누구든 따라 계산할 수 있고, 분석자 재량이 개입할 여지가 없어 시비에 강하다. 결과를 놓고 이해당사자들이 다투는 조사일수록 이 검증 가능성의 가치는 커진다. 여론조사에서 순위 문항을 물어 놓고도 정작 분석은 단순 집계로 끝내는 관행은 게으름이 아니라 합리적인 균형이다.

반면 조사 결과로 하나를 골라내야 하는 상황은 다르다. 공모작 선정, 내부 안건 채택, 정책 과제 확정처럼 최종 산출물이 순위표가 아니라 단일한 선택이라면, 단순 집계가 동률을 만들 때 이를 처리할 규칙이 미리 있어야 한다. 이때는 보르다든 다른 방식이든 사전에 합의된 계산식이 뒷말을 막는 장치가 된다. 여기서는 계산식의 복잡함이 공정성의 근거로 작동한다.

항목이 많아 변별이 필요할 때도 점수화가 유용하다. 정책 과제 스무 개의 우선순위를 가리는 조사에서 1+2순위 비율만 보면 상위 서너 개를 제외한 나머지는 전부 한 자릿수 비율로 깔려 구분이 되지 않는다. 담당 부서 입장에서는 자기 사업이 12위인지 15위인지가 예산과 직결되는 문제인데, 이 중하위권의 서열은 전체 순위를 점수화해야 세워진다. 이런 보고서라면 본문에는 1순위와 1+2순위를 싣고, 점수 합산에 의한 종합 서열은 산식을 명시한 별도 표로 제시하는 이원 구성이 무난하다.

마지막으로 개인 수준의 분석이 필요할 때다. 1+2순위 비율은 집단 수준의 요약이라, 어떤 응답자가 어떤 항목을 선호하는지를 다른 변수와 연결하거나 응답자를 선호 유형별로 나누려면 개인별 점수를 산출하는 모형 기반 접근이 있어야 한다. 이 단계는 학술 분석이나 컨조인트 계열의 상품 조사에서 요구되는 것이고, 통상의 실태조사나 인식조사에서 필요한 경우는 드물다.

정리

순위 문항의 실무 지침은 이렇게 요약할 수 있다. 설계에서는 상위 두 순위, 필요하면 세 순위까지만 받고, 모바일 환경에서는 순차 선택 방식으로 구현하며, 제시 순서는 반드시 로테이션한다. 집계에서는 1순위 비율과 1+2순위 비율을 기본으로 하되, 해석의 무게는 1+2순위에 둔다. 가중 합산과 모형 추정은 결과로 무언가를 판정해야 하거나, 항목이 많아 중하위 서열까지 필요하거나, 개인 수준 분석이 목적일 때 꺼내 쓰는 도구다. 순위 데이터는 받아두면 사후에 여러 방식으로 재계산할 수 있는 자산이기도 하다. 보고서에는 단순하게 싣더라도 데이터는 순위 그대로 보존해 둘 일이다.

공무원은 어떻게 표본이 되는가: 표집틀 없는 조사가 감당하는 비용에 관하여

 

공무원은 어떻게 표본이 되는가

표집틀 없는 조사가 감당하는 비용에 관하여

여론조사에서 표본을 뽑으려면 먼저 표집틀이 있어야 한다. 모집단에 속한 대상들의 목록, 그로부터 확률적으로 사람을 골라낼 수 있는 명부다. 일반 국민 조사에서는 이 문제가 오래전에 풀렸다. 통신사 가상번호 체계가 있어 조사기관은 성·연령·지역 기준으로 표본을 배정받아 접촉한다. 표집틀을 조사기관이 직접 만들지 않아도 된다는 것, 이것이 국민 조사의 비용 구조를 지탱하는 토대다.

공무원을 대상으로 하면 이 토대가 통째로 사라진다. 공무원이라는 모집단을 확률표본으로 뽑을 수 있는 표준 명부가 조사자에게 없다. 그 부재가 만들어내는 비효율은 조사 한 건의 불편으로 그치지 않는다. 이 글은 그 비효율이 어디서 생기고 어떻게 누적되는지를 따라가 본다.

모집단은 완벽하다, 다만 닿을 수 없다

공무원은 대한민국에서 가장 완벽하게 관리되는 모집단 중 하나다. 국가공무원은 e-사람에, 지방공무원은 인사랑에 전수로 등록돼 있다. 인사랑은 243개 지자체에 흩어져 있던 인사 DB를 17개 시·도 중심으로 통합해 클라우드로 올렸고, 지방공무원과 공무직까지 포괄한다. 이름, 소속, 직급, 직렬이 빠짐없이 들어 있는 완전한 명부가 이미 존재한다.

조사자에게 이보다 이상적인 표집틀은 없다. 층화도 자유롭고 가중치 설계도 정확해진다. 그러나 이 명부는 인사행정 목적의 개인정보이고, 표집틀로는 결코 밖으로 나오지 않는다. 완벽한 목록이 눈앞에 있는데 조사에는 한 줄도 쓸 수 없다. 공무원 조사 비효율의 뿌리가 여기다. 문제는 명부가 없다는 것이 아니라, 있는 명부에 닿을 수 없다는 것이다.

그래서 저마다 전화번호부를 만든다

접근 가능한 명부가 없으니 조사자들은 각자 표집틀을 자작한다. 방법은 대개 하나로 수렴한다. 기관 홈페이지에 공개된 조직도와 부서 전화번호를 긁는 것이다. 부처 하나를 열면 실 아래 국이 있고 국 아래 과가 있고, 과마다 직통번호와 담당 업무가 붙어 있다. 이것을 기관별로 반복해 표를 채운다. 조사 대상이 중앙부처 전체라면 수백 개 홈페이지가 대상이 된다.

비효율의 첫 번째 층은 중복이다. 이 작업을 조사기관마다 따로 한다. A 기관이 만든 공무원 전화번호부와 B 기관이 만든 것은 같은 원천을 긁은 거의 동일한 산출물인데, 서로 공유되지 않는다. 사회 전체로 보면 동일한 노동이 조사기관 수만큼 반복된다. 표집틀이라는 것이 본래 공공재의 성격을 가지는데, 공무원 조사에서는 그것이 사유재처럼 각자 생산되고 각자 폐기된다.

두 번째 층은 갱신이다. 긁어 만든 표는 만든 순간부터 낡기 시작한다. 인사이동이 상시로 일어나고, 조직개편이 주기적으로 판을 뒤집는다. 부처가 나뉘고 합쳐지며 실·국의 이름이 바뀌면, 작년에 만든 표는 상당 부분 폐기하고 다시 긁어야 한다. 한 번의 수고로 끝나지 않고 조사 때마다 원점으로 돌아가는 구조, 이것이 조사자들이 흔히 무한 루프라 부르는 상태다.

공개돼 있으나 데이터가 아니다

더 답답한 것은 통합본이 실재한다는 사실이다. 공무원들은 서로의 연락처를 정부 전자전화번호부로 조회한다. 부처를 가로지르는 통합 전화번호부가 정부 안에 이미 있고, 국가 도메인에 주소까지 걸려 있다. 다만 행정망 안이나 공무원 인증을 거쳐야 열린다. 담장 밖의 조사자에게는 없는 것과 같다. 존재하는데 닿을 수 없다는 앞의 사정이 여기서 되풀이된다.

밖에서 접근되는 자료들은 저마다 결함이 있다. 정부24의 부서 연락처는 실·국·과 계층과 직통번호를 갖춰 표집틀의 골격에 가장 근접하지만, 중앙행정기관과 광역자치단체까지만 담고 기초자치단체 229곳이 빠진다. 정부간 관계를 다루는 조사는 중앙과 광역과 기초를 함께 봐야 하는데 프레임이 중간에서 끊긴다. 공공데이터포털의 일선기관 연락처는 기관 대표번호 수준이라 부서 단위로는 못 쓴다. 데이터셋마다 붙은 관리부서 연락처를 모으면 기초 부서도 잡히지만, 데이터 등록 업무를 하는 부서로 편중된 부분 명부다.

그러니 조사자는 여러 불완전한 소스를 손으로 이어 붙인다. 정부24로 중앙과 광역을 채우고, 기초는 각 지자체 홈페이지를 하나씩 긁어 메우고, 서로 다른 자료의 형식을 통일한다. 정보는 분명 공개돼 있다. 다만 조사에 쓸 하나의 데이터로는 어디에도 없다. 공개와 활용 사이의 이 간극이 비효율의 세 번째 층이다.

비효율의 값은 누가 치르는가

이 모든 수고는 결국 조사의 값으로 전가된다. 표집틀 구축에 드는 시간과 인건비가 조사 단가에 얹히고, 그 부담은 대개 학술 연구나 공공 목적 조사가 진다. 표집틀 자작 비용을 감당하기 어려운 곳은 아예 확률표본을 포기하고 편의표본으로 물러선다. 접근 가능한 몇몇 기관, 아는 담당자를 통해 표본을 채우는 방식이다. 그 순간 조사의 대표성은 무너지고, 공무원 집단에 대한 우리의 통계적 지식은 그만큼 부실해진다. 표집틀의 부재는 조사자의 불편에서 끝나지 않고 조사 결과의 질로, 나아가 그 결과에 기대는 정책 판단으로 흘러간다.

통계 당국도 이 문제를 몰랐던 것은 아니다. 조사구 방식의 표집틀을 만들려다 접었다는 이야기를 들었는데, 이유는 짐작이 간다. 조사구는 주거지를 기반으로 하는 틀이라 상주인구에는 통하지만, 공무원은 직장 단위로만 접근되는 모집단이다. 기관 협조 없이는 개인 단위 명부를 세울 수 없고, 세운다 해도 인사이동과 조직개편의 속도가 갱신 비용을 감당 못 하게 만든다. 국가의 자원으로도 쉽지 않은 일을 개별 조사기관이 매번 감당하고 있는 셈이다.

루프를 끊는 데 드는 것은 크지 않다

구조를 뜯어보면 이 비효율은 필연이 아니다. 완벽한 전수 명부는 인사시스템 안에 있으나 개인정보라 나오지 않고, 통합 전화번호부는 정부 안에 있으나 담장을 넘지 못한다. 막혀 있는 것은 데이터의 존재가 아니라 접근이다. 그리고 접근을 여는 데 드는 비용은, 지금 사회 전체가 반복해서 치르는 중복 비용에 비하면 크지 않다.

부서 단위의 통합 전화번호부를 분기마다 공공데이터포털에 올리는 것만으로 표집틀 문제의 절반은 해소된다. 이미 각 기관이 홈페이지에 공개하고 있는 정보이니 새로 만들 것도 없고, 비공개로 막을 명분도 약하다. 더 나아가면 e-사람과 인사랑에 이미 모바일 접점까지 깔려 있으므로, 전수 프레임에서 층화 표본을 뽑아 조사 안내를 보내는 일도 기술적으로 가능하다. 국민 조사가 가상번호 체계로 표집틀 문제를 공적으로 해결했듯, 공무원 조사에도 같은 발상이 필요할 뿐이다.

그 전까지 조사자는 홈페이지를 긁고, 표를 깁고, 낡으면 다시 긁는다. 이 반복이 당연한 일로 굳어지면 그 비용은 보이지 않게 된다. 보이지 않는 비용은 줄여야 할 대상으로 인식되지도 않는다. 공무원 조사의 표집틀 이야기를 굳이 기록으로 남기는 이유가 여기에 있다. 무한 루프를 끊는 값이 생각보다 작다는 것을, 루프 안에 있는 사람은 오히려 잊기 쉽기 때문이다.

신세틱 서베이는 마케팅조사에 적합하다는 말의 절반만 맞는 이유

신세틱 서베이는 마케팅조사에 적합하다는 말의 절반만 맞는 이유

신세틱 서베이를 둘러싼 논의에서 자주 접하는 통설이 하나 있다. LLM 기반의 합성 응답은 선거 여론조사처럼 정밀도가 요구되는 영역보다 마케팅조사에 적합하다는 것이다. 이 말은 틀리지 않았다. 다만 절반만 맞다. 정량조사에 한정하면 타당한 진단이지만, 정성조사로 오면 유불리가 뒤집히기 때문이다. 마케팅이냐 정치냐가 적합성을 가르는 기준이 아니라는 얘기다. 이 글에서는 그 기준이 실제로 무엇인지, 그리고 그 기준으로 조사 영역을 나눠보면 어떤 지도가 그려지는지 정리해 보려 한다.

정량에서는 통설이 맞다

먼저 통설이 성립하는 쪽부터 보자. 신세틱 정량이 정치조사에서 설 자리가 없는 이유는 명확하다. 산출물이 숫자이고, 그 숫자를 검증할 정답지가 존재하기 때문이다. 선거 여론조사는 개표라는 최종 채점을 피할 수 없다. 오차 1~2%포인트가 승패 예측을 가르는 판에서, 응답 분포를 재현하는 능력이 검증되지 않은 도구를 투입할 수는 없다. 여기에 공표용 선거 여론조사에 적용되는 규제 요건까지 겹치면, 합성 응답이 공식 수치로 유통될 통로 자체가 막혀 있다.

LLM이 응답 분포 재현에 약하다는 사실도 여러 연구에서 반복적으로 확인된다. 척도 응답에서 중간값으로 쏠리는 경향, 소수 집단의 극단적 응답을 만들어내지 못하는 문제, 학습 데이터의 시차로 인해 최근 이슈에 대한 태도 변화를 반영하지 못하는 한계가 대표적이다. 실제 모집단의 응답 분포는 생각보다 울퉁불퉁하다. 특정 집단에서 응답이 한쪽 끝에 몰리기도 하고, 무응답과 유보가 정보를 담고 있기도 하다. LLM은 이런 요철을 매끄럽게 다려버린다.

같은 정량이라도 마케팅조사에서는 사정이 다르다. 첫째, 검증 압력이 약하다. 브랜드 인지도가 실제보다 5%포인트 높게 나왔다고 해서 그것을 판정해 줄 개표 같은 절차가 없다. 둘째, 오차 허용도가 크다. 구매의향 수치가 다소 부정확해도 의사결정의 방향이 뒤집히는 경우는 드물다. 셋째, 절대 수치가 아니라 상대 비교로 충분한 과제가 많다. 컨셉 A와 B 중 어느 쪽이 우세한지, 패키지 시안 세 개의 순위가 어떻게 되는지만 맞으면 되는 스크리닝 과제에서는 수치의 절대적 정확성이 요구되지 않는다. 분포 재현에 약한 도구라도 순위 재현은 상대적으로 잘하는 편이니, 신세틱 정량의 현실적인 용처는 이런 초기 스크리닝에 있다.

여기까지가 통설의 근거다. 그리고 여기까지만 놓고 보면 마케팅 적합론은 반박할 게 없다. 문제는 이 논리가 정성조사에는 그대로 이식되지 않는다는 데 있다.

정성의 산출물은 숫자가 아니라 논리다

정성조사에서 신세틱의 성패를 가르는 조건은 정량과 완전히 다르다. 정성의 산출물은 분포가 아니라 논리와 언어다. IDI나 FGD 결과 보고서에 담기는 것은 "이 집단이 이런 이유로 이렇게 반응한다"는 설명의 구조이지, 몇 퍼센트라는 수치가 아니다. 따라서 합성 응답에 요구되는 것도 통계적 대표성이 아니라 개연성이다. 그 프로필의 사람이라면 실제로 할 법한 말인가. 이 물음에 그렇다고 답할 수 있으면 쓸모가 성립한다.

그런데 개연성 있는 발화를 생성하는 일은 LLM이 가장 잘하는 과제에 속한다. 관건은 어떤 영역에서 개연성의 재료, 즉 그 집단의 반응 문법이 학습 데이터에 축적되어 있느냐다. 그리고 바로 이 조건에서 마케팅과 정치의 위치가 뒤바뀐다.

정치사회 정성이 잘 되는 이유

정치사회 영역은 반응의 유형이 방대하게 기록된 영역이다. 지지를 철회하는 사람의 논리, 부동층이 망설이는 문법, 세대별 불만이 표현되는 방식, 계층별 정책 수용의 언어까지, 수십 년치 담론이 뉴스와 커뮤니티와 조사 보고서의 형태로 쌓여 있다. LLM에게 특정 프로필의 페르소나를 주고 정치 현안에 대한 견해를 요구하면, 그 집단이 실제로 구사하는 논리 구조에 상당히 근접한 답이 나온다. 재료가 충분하기 때문이다.

여기에 정성조사 실무의 한 가지 특성이 결합하면 신세틱의 강점은 더 커진다. 정치사회 정성조사에서 의외의 답변은 생각만큼 환영받지 않는다는 사실이다. 발주처가 정성조사에 기대하는 것은 특정 집단의 태도에 대한 조리 있는 설명이지, 유형화가 불가능한 돌출 발언이 아니다. 실제 IDI를 스무 명 진행해도 분석 단계에서 논리적으로 정리되지 않는 한두 명의 발언은 결국 보고서에서 걸러진다. 합성 페르소나는 그 필터링이 선반영된 답을 내놓는 셈이다. 실제 응답자 기반 정성에서라면 단점으로 지적될 "너무 정돈된 답변"이, 이 용도에서는 오히려 요구 사양에 부합한다.

정성조사의 목적이 모수 추정이 아니라 논거의 폭을 확보하는 데 있다는 사실도 신세틱에 유리하게 작용한다. 어떤 집단에서 나올 수 있는 주장의 스펙트럼을 채우는 일, 찬성과 반대 각각의 논리 구조를 유형별로 정리하는 일은 대표성을 요구하지 않는다. 페르소나 설계를 정교하게 할수록 스펙트럼의 해상도가 올라가고, 여러 모델을 병렬로 돌리면 모델별 기본 성향의 차이가 답변의 다양성을 추가로 벌려준다.

마케팅 정성이 안 되는 이유

반대로 마케팅 정성으로 오면 신세틱의 조건이 무너진다. 마케팅 정성조사의 대표 과제가 무엇인지 생각해 보면 이유가 드러난다. 신제품 컨셉 평가, 시제품 사용 반응, 새 광고물에 대한 소비자 인상. 하나같이 세상에 없던 자극에 대한 반응을 요구하는 과제다. 학습 데이터에 전례가 없는 자극이니, LLM은 개연성의 재료를 갖고 있지 않다.

재료가 없을 때 LLM이 택하는 경로는 일반론으로의 회귀다. 새 음료 컨셉을 보여주면 "패키지가 눈에 띄고 가격이 합리적이면 구매를 고려하겠다"는 답이 나온다. 틀린 말은 아니지만 어떤 제품에 갖다 놓아도 성립하는 말이라 정보 가치가 없다. 실제 FGD의 가치는 정반대의 발언에서 나온다. 뚜껑을 돌리는 방향이 기존 제품과 반대라서 불편하다든가, 광고 모델의 표정이 제품 톤과 어긋난다든가 하는 구체적 마찰의 발견이다. 이런 발견은 실물과 신체가 부딪히는 경험, 그리고 응답자 개인의 예측 불가능한 감각에서 나오는데, 둘 다 합성 페르소나가 갖지 못한 것이다.

요컨대 정치사회 정성에서 강점이던 "학습된 문법의 재현"이 마케팅 정성에서는 성립 조건 자체를 잃는다. 재현할 문법이 없는 자극 앞에서 정돈된 답변은 공허한 답변이 된다.

사분면으로 정리하면

이렇게 놓고 보면 신세틱 서베이의 적합성을 가르는 판별 기준은 두 가지로 정리된다.

첫째, 과제가 요구하는 것이 수치의 정밀도인가, 논리의 재현인가. 수치 정밀도가 요구될수록 분포 재현에 약한 LLM의 한계가 치명적이 되고, 논리 재현이 요구될수록 언어 생성이라는 강점이 살아난다.

둘째, 반응을 요구하는 자극이 전례 있는 것인가, 새로운 것인가. 학습 데이터에 반응 문법이 축적된 자극일수록 개연성 있는 답이 나오고, 전례 없는 자극일수록 일반론으로 회귀한다.

이 두 기준을 교차하면 사분면이 그려진다. 마케팅 정량은 수치를 다루지만 정밀도 요구가 낮고 상대 비교로 충분한 과제가 많아 우세 영역에 든다. 정치사회 정성은 논리 재현 과제이면서 반응 문법의 축적이 가장 두터운 영역이라 역시 우세 영역이다. 반대로 정치 정량은 수치 정밀도 요구가 극한인 데다 규제 장벽까지 있어 열세 영역이고, 신제품 중심의 마케팅 정성은 전례 없는 자극이라는 조건 때문에 열세 영역이다. 마케팅 적합론이 포착한 것은 이 사분면의 한 칸이었을 뿐, 대각선 반대편에 정치사회 정성이라는 또 하나의 우세 칸이 있었던 셈이다.

 

우세 영역에도 조건은 있다

물론 정치사회 정성이 우세 영역이라는 진단에도 유효 조건이 붙는다.

하나는 국면의 안정성이다. 합성 페르소나의 강점은 축적된 문법의 재현이므로, 문법 자체가 흔들리는 격변기에는 약하다. 예상 못한 사건 이후의 민심, 갑자기 등장한 인물에 대한 반응처럼 학습된 전례가 없는 상황에서 LLM은 과거 유형으로 회귀해 답한다. 평시에는 정돈된 답이 정확한 답이지만, 격변기에는 정돈된 답이 곧 낡은 답이 된다. 이때는 실제 응답자 없이 쓸 수 없다.

다른 하나는 페르소나의 과잉 연기 문제다. 프로필에 규정된 속성을 실제 사람보다 훨씬 충실하게 반영하는 경향이 있어서, 부채가 많은 자영업자로 설정하면 모든 질문에 부채 걱정을 끼워 넣는 식의 답이 나온다. 실제 사람은 자기 프로필대로만 말하지 않는다. 프로필에 상충하는 속성을 의도적으로 심어 내적 긴장을 만들어주는 설계가 이 문제를 어느 정도 완화하지만, 근본적으로 합성 응답에는 실제 응답자의 자기모순과 비합리적 고집이 결여되어 있다는 점은 남는다.

이 두 조건을 감안하면 현실적인 자리는 이렇게 정해진다. 신세틱 정성은 탐색 단계의 가설 생성 도구로 쓰고, 검증은 실제 응답자로 한다. 어떤 논리 유형이 존재할 수 있는지 지도를 먼저 그리는 데 합성 페르소나를 투입하고, 그 지도가 현실과 맞는지, 지도에 없는 것이 현장에 있는지는 사람에게 묻는 이중 구조다. 우세 영역에서조차 대체가 아니라 선행 공정이라는 위치가 당분간의 정답에 가깝다.

신세틱 서베이가 어디에 쓸 만한 도구인지 묻는 질문에 마케팅이냐 정치냐로 답하는 것은 문제를 잘못 자른 것이다. 정량이냐 정성이냐, 그리고 전례 있는 자극이냐 새로운 자극이냐로 잘라야 답이 나온다. 그렇게 자르면 마케팅 정량과 정치사회 정성이라는, 언뜻 어울리지 않아 보이는 두 영역이 같은 편에 서게 된다.

조사 모드 차원 분해표

조사 모드 차원 분해표

1. 문제의식

"문자 인터뷰는 웹조사인가", "이메일에 파일을 첨부해 회수하는 조사는 무슨 모드인가" 같은 질문은 답이 없는 것이 아니라 질문의 형식이 잘못된 것이다. 모드를 상자로 분류하는 한 새로운 기술이 나올 때마다 상자에 안 들어가는 사례가 쌓인다. 대안은 모드를 여섯 개 차원의 조합으로 기술하는 것이다. 각 조사는 상자에 담기는 대신 좌표를 갖는다.

2. 여섯 차원

–   접촉(초대) 채널: 응답자에게 조사 참여 요청이 도달하는 경로. 대면, 전화, 우편, 이메일, 문자메시지(SMS·LMS·RCS), 메신저, SNS 광고 등. 채널은 특정 기술 규격이 아니라 속성(지속성, 인지성, 도달 범위)으로 기술한다. SMS가 RCS로 넘어가도 좌표는 같은 자리다.

–   설문 도구 형태: 문항이 담긴 그릇의 성질. 대화형(에이전트가 문항을 한 번에 하나씩 제시하고 응답을 확인한 뒤 진행), 정적 문서(로직과 검증이 없는 고정된 문서: 종이 설문지, 한글·워드 파일), 프로그래밍 도구(로직 점프, 응답 검증, 필수응답 강제가 내장된 웹·모바일 설문 시스템)로 나뉜다.

–   진행 통제 주체: 문항 제시의 순서와 속도를 누가 쥐는가. 에이전트 통제 대 응답자 통제.

–   에이전트 성격: 인간 / 자동(녹음, 스크립트, 생성형) / 없음(자기기입).

–   응답 채널: 구두, 키패드, 텍스트 입력, 터치·클릭, 지필, 파일 작성·회신.

–   동시성: 응답까지의 시간에 상한이 있는가. 동기 대 비동기.

3. 분해표

모드	접촉 채널	설문 도구	진행 통제	에이전트	응답 채널	동시성
대면면접 (CAPI)	대면 방문	대화 스크립트	에이전트	인간	구두	동기
전화면접 (CATI)	전화	대화 스크립트	에이전트	인간	구두	동기
ARS	전화	대화 스크립트	에이전트	자동(녹음)	키패드	동기
AI 음성 인터뷰	전화	대화 스크립트	에이전트	자동(생성형)	구두	동기
우편조사	우편	정적 문서(종이)	응답자	없음	지필	비동기
이메일 첨부 조사	이메일	정적 문서(파일)	응답자	없음	파일 회신	비동기
PC 웹조사	이메일 등	프로그래밍 도구	응답자	없음	클릭·입력	비동기
문자 발송 모바일 웹조사	문자메시지	프로그래밍 도구	응답자	없음	터치·입력	비동기
문자 인터뷰(인간)	문자메시지	대화 턴 교환	에이전트	인간	텍스트 입력	비동기
문자 인터뷰(자동)	문자메시지	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기
메신저 챗봇 조사	메신저	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기

 

4. 표가 정리하는 경계 사례

–   문자 인터뷰 대 문자 발송 모바일 웹조사: 접촉 채널(문자메시지)은 같고 설문 도구(대화 턴 교환 대 프로그래밍 도구)와 진행 통제(에이전트 대 응답자)에서 갈라진다. "둘 다 문자조사"라는 뭉뚱그림이 왜 부정확한지가 좌표로 드러난다.

–   RCS와 챗봇 조사의 수렴: 버튼과 리치 카드를 지원하는 RCS로 문항을 하나씩 주고받으면 문자 인터뷰(자동)와 메신저 챗봇 조사의 좌표가 사실상 일치한다. 남는 차이는 채널 운영 주체(통신망 표준 대 플랫폼 사업자)인데, 이는 측정 환경이 아니라 도달 가능 모수, 즉 표집틀과 커버리지의 문제다. 미지원 단말에 SMS·LMS로 대체 발송되는 폴백 구조도 같은 이유로 커버리지 서술에 속한다.

–   이메일 첨부 조사 대 우편조사: 접촉 채널만 다르고 나머지 좌표가 전부 같다. 이메일 첨부 조사가 웹조사가 아니라 우편조사의 직계라는 판단이 표에서 바로 확인된다.

–   ARS 대 AI 음성 인터뷰: 응답 채널(키패드 대 구두)과 에이전트의 세부 성격(녹음 대 생성형)이 구분점이다. ARS를 자기기입식으로 볼지 면접식으로 볼지의 오랜 논쟁도 이 틀에서는 "에이전트 통제이므로 면접형, 다만 자동 에이전트"로 정리된다.

–   동시성 재분류: 문자 인터뷰는 대화형이면서 비동기라는 조합으로, 대화형은 곧 동기라는 통념을 깬다. Conrad 등(2026)이 보고한 문자 인터뷰의 반올림 감소는 이 비동기 셀의 효과다.

5. 차원과 오차원의 대응

이 분해가 실무적으로 중요한 이유는 총조사오차의 오차원이 차원별로 따로 붙기 때문이다.

차원	주로 지배하는 오차원
접촉 채널	커버리지 오차, 무응답 오차 (표집틀 도달과 접촉 성공)
설문 도구 형태	측정오차(로직 강제·검증 유무), 처리오차(수작업 입력·정제)
진행 통제	측정오차(문항 건너뛰기, 전체 훑어보기에 따른 순서효과)
에이전트	면접원 효과, 사회적 바람직성 편향, 민감 문항 공개 수준
응답 채널	인지 부담, 척도 제시 방식의 제약
동시성	시간 압박에 따른 만족화(반올림, 즉답), 심사숙고 여지

 

이메일 첨부 조사의 데이터 품질 문제는 이메일이라는 접촉 채널이 아니라 정적 문서라는 도구 형태에서 발생한다. 문자 발송 모바일 웹조사의 빠른 필드는 문자 채널의 지속성·인지성에서 나오고, 응답 품질은 프로그래밍 도구와 비동기성 셀이 결정한다. 모드 개선을 논할 때 어느 차원을 건드리는 것인지 특정할 수 있게 된다.

6. 남는 논점

–   혼합모드 조사는 이 표에서 복수의 행을 갖는 조사로 기술된다. 모드 효과 분석은 행 간 비교가 아니라 차원 간 비교로 내려가야 한다.

–   접촉 채널과 표집틀은 밀접하지만 별개다. 같은 문자 접촉이라도 표집틀이 통신사 마케팅 수신동의 가입자 명부인지 자발적 가입 패널인지에 따라 커버리지 성질이 다르고, RCS 대 메신저의 실질적 차이도 표집틀 쪽에서 발생한다. 표집틀을 일곱째 차원으로 분리하는 쪽이 일관적이며, 이 경우 표집틀 차원은 Frame Procurement Error와 직접 연결된다.

–   에이전트의 자동 범주 안에서 녹음·규칙 기반과 생성형의 구분이 앞으로 더 중요해질 것이다. 생성형 에이전트는 프로빙과 명료화가 가능해 인간 쪽 성질을 일부 갖는다.

–   RCS의 발신 브랜드 프로필과 인증 마크는 발신자 신뢰라는 채널 속성을 추가로 제기한다. 무명 번호 SMS와 인증된 기업 프로필 RCS는 같은 초대장이라도 응답 결정 단계에서 다르게 작동할 수 있어, 무응답 오차 관점의 검증 과제다.