응답자는 설문에 어떻게 답하는가

 

응답자는 설문에 어떻게 답하는가

응답 인지과정 이론의 전개와 현재의 표준

설문 문항 하나에 답하는 데 걸리는 시간은 보통 몇 초에 불과하다. 그러나 그 몇 초 동안 응답자의 머릿속에서는 꽤 복잡한 작업이 진행된다. 질문을 읽고, 무엇을 묻는지 해석하고, 기억을 뒤지고, 흩어진 정보를 하나의 판단으로 만들고, 그 판단을 주어진 보기 중 하나에 맞춰 넣는다. 이 과정 어디에서든 오류가 생길 수 있고, 그 오류가 쌓인 것이 측정오차다. 응답 인지과정 이론은 바로 이 몇 초를 분해해서 보는 이론이다.

이 분야가 체계를 갖춘 것은 1980년대다. 1983년 미국에서 열린 CASM(Cognitive Aspects of Survey Methodology) 세미나를 계기로 인지심리학자와 조사방법론자가 같은 문제를 놓고 협업하기 시작했고, 이후 십여 년 사이에 오늘날까지 인용되는 주요 모델이 대부분 나왔다. 시기순으로 하나씩 살펴본다.

그림 1. 응답 인지과정 이론의 전개(1981~2008). 위아래로 번갈아 배치했을 뿐 계열 구분은 없다.

1. Cannell, Miller & Oksenberg(1981): 두 갈래 길

체계적인 모델로는 가장 이른 것이 Cannell과 동료들의 작업이다. 이들은 면접조사에서 응답이 만들어지는 경로를 둘로 나눴다. 하나는 질문을 제대로 이해하고 기억을 성실히 뒤져서 정답에 가까운 응답을 내놓는 경로다. 다른 하나는 그 과정을 건너뛰는 지름길이다. 지름길을 택한 응답자는 사회적으로 바람직해 보이는 답, 면접원의 표정이나 말투가 암시하는 답, 앞 질문에서 이미 했던 답에 기대어 대충 답한다.

응답의 질이 갈라지는 두 경로를 명시적으로 제시했다는 점에서 이 모델은 10년 뒤 등장하는 만족화 이론의 원형이 됐다. 면접원 행동 표준화, 응답자 서약(commitment) 절차, 피드백 기법 같은 실무 처방도 이 모델에서 나왔다.

2. Tourangeau(1984): 4단계 모델

Tourangeau는 응답 과정을 이해(comprehension), 인출(retrieval), 판단(judgment), 응답(response)의 네 단계로 나눴다. 응답자는 먼저 질문의 어휘와 구문을 해석하고 질문자의 의도를 추론한다. 다음으로 관련 정보를 기억에서 꺼내고, 빠진 부분은 추론으로 메운다. 꺼낸 정보를 통합해 하나의 판단을 만들고, 마지막으로 그 판단을 주어진 응답 범주에 대응시켜 보고한다. 민감한 문항에서 답을 다듬는 응답 편집(editing)은 이 마지막 단계에서 일어난다.

그림 2. Tourangeau의 4단계 모델. 각 단계 아래에 대표적인 하위 과정을 표시했다. 단계 간 이동은 반드시 순차적이지 않으며, 되돌아가거나 건너뛸 수 있다.

이 모델의 강점은 진단 도구로서의 쓸모다. 어떤 문항에서 이상한 응답 분포가 나왔을 때, 문제가 이해 단계에 있는지(어휘가 어렵다, 이중 질문이다), 인출 단계에 있는지(회상 기간이 너무 길다), 판단 단계에 있는지(추정 전략이 문항마다 다르다), 응답 단계에 있는지(보기가 응답자의 판단과 맞지 않는다, 민감해서 숨긴다)를 구분해서 따질 수 있다. 2000년에 Tourangeau, Rips & Rasinski가 펴낸 『The Psychology of Survey Response』는 이 틀을 정교화한 책으로, 이 분야의 표준 교과서로 자리 잡았다.

3. Strack & Martin(1987): 태도 응답의 두 경로

사실 문항과 달리 태도 문항에는 별도의 논의가 붙는다. Strack과 Martin은 태도 질문에 답할 때 두 가지 경로가 있다고 봤다. 하나는 이미 형성해 둔 판단을 기억에서 꺼내 그대로 보고하는 경로다. 다른 하나는 저장된 판단이 없거나 꺼내기 어려울 때, 그 순간 머리에 떠오르는 정보만으로 즉석에서 판단을 새로 만드는 경로다.

그림 3. Strack & Martin의 두 경로 모델. 즉석 구성 경로에서는 그 순간 접근 가능한 정보가 무엇이냐에 따라 응답이 달라진다.

이 구분이 중요한 이유는 즉석 구성 경로의 함의 때문이다. 태도가 서류철처럼 저장돼 있다가 인출되는 게 아니라 질문받는 순간 접근 가능한 정보로 만들어진다면, 앞 문항이 무엇이었는지, 응답 척도가 어떻게 생겼는지에 따라 같은 사람의 응답이 달라질 수 있다. 문항 순서 효과와 응답 척도 효과(context effects)를 설명하는 이론적 기반이 여기서 나왔고, 이후 태도 구성론(attitudes-as-constructions)과 신념 표집(belief-sampling) 모델로 발전했다.

4. Krosnick(1991): 만족화 이론

Krosnick의 만족화(satisficing) 이론은 4단계 모델을 전제로 하되, 응답자가 네 단계를 얼마나 성실히 수행하는지에 주목한다. 네 단계를 모두 충실히 밟는 것이 최적화(optimizing)다. 반대로 인지적 노력을 아끼기 위해 단계를 피상적으로 수행하는 것이 약한 만족화, 인출과 판단 단계를 아예 생략하고 그럴듯한 답을 고르는 것이 강한 만족화다.

그림 4. 최적화와 만족화. 어느 경로를 타는지는 과제 난이도, 응답자 능력, 응답 동기 세 요인의 함수다.

만족화가 일어날 확률은 세 가지 요인으로 결정된다. 과제가 어려울수록, 응답자의 인지 능력이 낮을수록, 응답 동기가 약할수록 만족화 가능성이 커진다. 이 단순한 공식이 강력한 이유는 실무에서 관찰되는 여러 응답 행동을 하나의 원리로 설명하기 때문이다. 보기 첫 번째를 고르는 초두 효과, '그렇다'로 일관하는 묵종 편향, 중간값으로 도피하는 경향, 격자형 문항에서 한 줄로 찍는 비차별화(non-differentiation), 손쉬운 '모름' 선택이 모두 만족화의 발현으로 해석된다. 설문 길이를 줄이고 문항을 쉽게 쓰라는 실무 지침의 이론적 근거가 여기에 있다.

5. Schwarz(1990년대): 설문은 대화다

Schwarz의 기여는 이해 단계를 다시 정의한 것이다. 그는 언어철학자 Grice의 대화 격률을 조사 상황에 적용했다. 일상 대화에서 사람들은 상대가 관련 있는 말만, 필요한 만큼만 한다고 가정하고 발화를 해석한다. 응답자도 마찬가지다. 질문지에 인쇄된 모든 요소, 즉 응답 척도의 범위, 척도에 붙은 숫자, 문항의 순서, 앞 문항의 내용을 조사자의 의도가 담긴 정보로 읽는다.

그림 5. 척도에 붙인 숫자만 바꿔도 응답 분포가 달라진다. 0~10 척도에서는 34%가 하위 절반을 골랐지만, 같은 문항을 −5~+5 척도로 제시하자 13%로 줄었다(Schwarz 외, 1991).

위 실험이 대표적이다. '인생에서 얼마나 성공했다고 생각하는가'를 11점 척도로 물었는데, 척도 숫자를 0~10으로 붙였을 때는 34%가 하위 절반(0~5)을 골랐지만 −5~+5로 붙였을 때는 13%만 하위 절반(−5~0)을 골랐다. 응답자들이 음수를 '성공의 부재'가 아니라 '명백한 실패'로 읽었기 때문이다. 척도 형식은 중립적인 그릇이 아니라 그 자체로 의미를 전달하는 메시지라는 것, 이것이 Schwarz가 남긴 교훈이다.

6. 지금의 표준은 무엇인가

현재 가장 널리 받아들여지는 것은 Tourangeau의 4단계 모델이다. 인지 인터뷰(cognitive interviewing)의 프로빙 설계가 네 단계별로 조직되고, 측정오차의 원인을 진단할 때도 어느 단계에서 문제가 생겼는지를 따지는 방식이 표준이 됐다. AAPOR와 유럽 통계기관들의 질문지 사전검증 지침도 대부분 이 틀 위에 있다.

다만 4단계 모델이 다른 이론을 밀어냈다고 보면 곤란하다. 정확히는 4단계 모델이 뼈대 역할을 하고 나머지 이론이 그 위에 얹혀 있는 구조다. 만족화 이론은 네 단계가 왜, 언제 부실하게 수행되는지를 설명하는 보완 이론으로 함께 인용된다. Schwarz의 대화적 접근은 이해 단계의 작동 방식을 구체화한 것으로 흡수됐다. Strack & Martin의 두 경로는 태도 문항의 인출·판단 단계를 설명하는 하위 이론이 됐다. 그래서 최근 문헌은 4단계를 기본 틀로 두고 만족화와 대화적 해석을 하위 메커니즘으로 통합해 서술하는 것이 일반적이다.

변화가 없는 것은 아니다. 웹조사와 모바일 조사가 표준이 되면서 4단계 모델에 시각적 처리 과정을 추가해야 한다는 논의가 이어졌다. Couper를 중심으로 한 시각 설계(visual design) 연구는 화면 배치, 보기 배열, 입력 방식 자체가 이해 단계와 응답 단계에 개입한다는 것을 보여줬다. 면접원이 없는 자기기입식 환경에서는 응답 동기를 관리할 수단이 줄어들기 때문에 만족화 이론의 설명력이 더 커졌다는 평가도 있다.

7. 모바일 웹조사 실무에 주는 시사점

문자로 조사 URL을 받아 스마트폰 화면에서 응답하는 방식을 기준으로 생각해 보면, 네 단계 각각에 대응하는 설계 과제가 있다. 이해 단계에서는 작은 화면이 제약이다. 스크롤 없이 한눈에 들어오는 문장 길이, 보기가 화면 아래로 잘리지 않는 배치가 어휘 선택만큼 중요해진다. 인출 단계에서는 회상 기간을 짧게 잡고, 필요하면 기준 사건을 제시하는 경계 설정(bounding)이 유효하다. 판단 단계에서는 격자형 문항을 줄이는 것이 우선이다. 격자는 비차별화가 가장 잘 관찰되는 형식이다. 응답 단계에서는 척도 숫자와 배열이 전달하는 암묵적 메시지를 점검해야 한다.

무엇보다 만족화 이론의 세 요인 중 실무자가 통제할 수 있는 것은 과제 난이도뿐이라는 사실을 기억할 필요가 있다. 응답자의 능력은 주어진 조건이고, 문자로 유입된 응답자의 동기는 대체로 높지 않다. 결국 문항을 쉽게, 짧게, 명확하게 만드는 것이 만족화를 줄이는 거의 유일한 수단이다. 응답 인지과정 이론이 40년 전 이론에 머물지 않고 지금도 실무 지침의 근거로 살아 있는 이유다.

참고문헌

Cannell, C. F., Miller, P. V., & Oksenberg, L. (1981). Research on interviewing techniques. Sociological Methodology, 12, 389–437.

Tourangeau, R. (1984). Cognitive sciences and survey methods. In T. Jabine et al. (Eds.), Cognitive Aspects of Survey Methodology: Building a Bridge Between Disciplines. National Academy Press.

Strack, F., & Martin, L. L. (1987). Thinking, judging, and communicating: A process account of context effects in attitude surveys. In H. J. Hippler, N. Schwarz, & S. Sudman (Eds.), Social Information Processing and Survey Methodology. Springer.

Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236.

Schwarz, N., Knäuper, B., Hippler, H. J., Noelle-Neumann, E., & Clark, L. (1991). Rating scales: Numeric values may change the meaning of scale labels. Public Opinion Quarterly, 55(4), 570–582.

Schwarz, N. (1996). Cognition and Communication: Judgmental Biases, Research Methods, and the Logic of Conversation. Erlbaum.

Sudman, S., Bradburn, N. M., & Schwarz, N. (1996). Thinking About Answers: The Application of Cognitive Processes to Survey Methodology. Jossey-Bass.

Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.

Couper, M. P. (2008). Designing Effective Web Surveys. Cambridge University Press.

순위 문항, 어떻게 묻고 어떻게 집계할 것인가

 

순위 문항, 어떻게 묻고 어떻게 집계할 것인가

조사표 설계에서 순위형 문항의 자리

선호를 묻는 문항 형식은 크게 세 가지다. 하나만 고르게 하는 단일선택, 해당하는 것을 모두 고르게 하는 복수응답, 그리고 좋아하는 순서대로 번호를 매기게 하는 순위 문항이다. 이 중 순위 문항은 조사표 안에서 어정쩡한 위치에 있다. 단일선택보다 정보가 많고 복수응답보다 정교하지만, 응답자에게 요구하는 것도 그만큼 많다. 후보 정책 스무 개를 놓고 우선순위를 매겨 달라는 요청은 응답자 입장에서 상당한 노동이다. 그래서 순위 문항은 쓸 때마다 두 가지 질문이 따라붙는다. 몇 순위까지 물을 것인가, 그리고 받은 순위를 어떻게 집계할 것인가.

몇 순위까지 물을 것인가

교과서적으로는 항목 전체에 순위를 매기게 하는 완전 순위와 상위 몇 개만 고르게 하는 부분 순위로 나뉜다. 실무의 답은 대체로 부분 순위, 그것도 1순위와 2순위, 많아야 3순위까지다. 이유는 응답 품질에 있다. 항목이 예닐곱 개를 넘어가면 하위 순위는 사실상 무작위에 가까워진다. 응답자는 위쪽 두세 개는 진지하게 고르지만, 다섯째와 여섯째의 차이에는 별 생각이 없다. 그렇게 받은 하위 순위를 분석에 쓰면 잡음을 신호로 착각하게 된다. 어차피 못 쓸 데이터라면 처음부터 묻지 않는 편이 응답 부담도 줄이고 중도이탈도 막는다.

모바일 웹 조사 환경에서는 이 문제가 더 커진다. PC 화면에서는 항목을 끌어다 놓는 드래그 방식이 그럭저럭 작동하지만, 스마트폰의 좁은 화면에서 드래그는 오작동과 이탈의 원인이 된다. 순위 개수만큼 문항을 쪼개서 1순위를 고르게 하고, 남은 항목 중에서 2순위를 고르게 하는 순차 선택 방식이 모바일에서는 안정적이다. 이 방식은 화면상 단일선택 문항 두 개와 같아서 응답자 학습 비용이 없고, 1순위로 고른 항목이 2순위 선택지에서 자동으로 빠지도록 프로그래밍하면 논리 오류도 차단된다. 대신 문항 수가 늘어나는 만큼 순위를 세 개 이상 받는 것은 다시 부담이 된다. 모바일 조사에서 1, 2순위 정도로 끊는 관행에는 이런 배경이 있다.

제시 순서 효과도 순위 문항에서 유난히 크다. 목록형 문항은 어떤 형식이든 앞쪽 항목이 유리한 초두효과를 갖지만, 순위 문항은 응답자가 목록을 여러 번 훑어야 하므로 피로가 쌓일수록 앞쪽 항목으로 회귀하는 경향이 강해진다. 항목 제시 순서의 로테이션은 순위 문항에서는 선택이 아니라 필수다.

1순위와 1+2순위, 실무 집계의 기본형

순위를 받아 놓고 나면 집계 방법을 정해야 한다. 실무에서 가장 널리 쓰이는 방식은 두 가지 수치를 나란히 놓는 것이다. 1순위 응답 비율, 그리고 1순위와 2순위를 합친 비율이다. 1+2순위 비율은 각 항목이 응답자의 상위 두 순위 안에 든 비율이므로 합계가 100%를 넘는다는 점만 명시하면 해석에 아무 무리가 없다.

이 두 수치는 각각 다른 것을 보여준다. 1순위 비율은 지지의 강도다. 그 항목을 첫손에 꼽는 사람이 얼마나 되는가를 말해준다. 1+2순위 비율은 지지의 폭이다. 첫손은 아니어도 수용할 수 있다고 여기는 사람까지 포함한 범위다. 두 수치의 격차가 곧 정보다. 1순위에서는 앞서는데 1+2순위에서 따라잡히는 항목은 좋아하는 사람은 확실하지만 확장성이 없는 항목이고, 1순위는 낮은데 1+2순위에서 치고 올라오는 항목은 두루 무난하게 받아들여지는 항목이다. 단일선택 문항이었다면 전자만 보였을 것이고, 복수응답 문항이었다면 둘이 구분되지 않았을 것이다. 순위 문항의 값어치는 사실 이 두 수치의 대비에서 대부분 실현된다.

보고서에 담을 때는 1+2순위 비율을 기준으로 항목을 정렬하고 1순위 비율을 병기하는 편이 읽기 좋다. 상위 순위 안에 들어오는 폭이 대개 의사결정에 더 유용한 정보이고, 강도가 궁금한 독자는 병기된 1순위 열에서 확인하면 되기 때문이다.

가중치를 주는 방법들

순위 정보를 더 쓰고 싶다면 순위별로 점수를 매겨 합산하는 방법이 있다. 고전적인 것이 보르다 카운트다. 항목이 n개일 때 1순위에 n점, 2순위에 n-1점 하는 식으로 점수를 배정해 합산한다. 실무에서는 항목 수와 무관하게 1순위 2점, 2순위 1점처럼 단순화한 변형이 흔하다. 1순위 1점, 2순위 2분의 1점, 3순위 3분의 1점처럼 조화수열로 감쇠시키는 다우달 방식도 있는데, 상위 순위의 비중을 크게 잡고 싶을 때 쓴다.

가중 합산의 약점은 가중치 자체에 근거가 없다는 것이다. 2순위가 1순위의 절반 가치라는 판단은 분석자의 결정이지 데이터에서 나온 것이 아니다. 가중치를 어떻게 잡느냐에 따라 항목 서열이 뒤집히는 경우가 실제로 생기고, 그때 어느 서열이 맞느냐는 질문에 답할 방법이 없다. 결과 수치의 해석도 어렵다. 보르다 점수 3.2점이 높은 것인지 낮은 것인지는 아무도 직관적으로 알지 못한다. 비율로 표현되지 않는 수치는 보고서 밖으로 나가는 순간 소통에 실패한다.

가중치 문제를 데이터 쪽에 넘기는 방법도 있다. 순위 로짓 모형, 혹은 플래킷-루스 모형은 순위를 매기는 행위를 연속된 선택으로 본다. 응답자가 전체 중에서 1순위를 고르고, 남은 것 중에서 2순위를 고른다는 과정을 모형화해서 각 항목의 효용을 추정하는 것이다. 점수를 분석자가 정하지 않고 추정한다는 면에서 보르다류보다 정당화가 되고, 개인 수준의 선호 파라미터가 나오므로 세분화 분석이나 다른 변수와의 결합도 가능하다. 다만 일반 보고서에 넣기에는 설명 비용이 크고, 상위 두어 순위만 받은 부분 순위 데이터에서는 추정할 수 있는 정보 자체가 제한적이다.

순위 문항 자체의 대안으로는 맥스디프가 있다. 항목을 몇 개씩 묶은 세트를 여러 번 보여주고 매번 가장 좋은 것과 가장 나쁜 것만 고르게 하는 방식이다. 순위를 매기는 부담 없이 개인별 선호 점수를 얻을 수 있어 상품 컨셉 평가나 항목이 많은 우선순위 조사에서 쓰임새가 있다. 대신 세트를 여러 번 반복해야 하므로 문항 수가 늘어나, 짧게 끝내야 하는 모바일 조사에는 부담스럽다.

복잡한 방법이 필요한 경우

그렇다면 언제 단순 집계로 충분하고 언제 가중이나 모형이 필요한가. 갈림길은 분석의 목적이 묘사인가 판정인가에 있다.

공표를 전제로 한 조사, 여러 독자가 읽는 보고서라면 답은 거의 언제나 단순 집계다. 1순위와 1+2순위 비율은 통계표만 있으면 누구든 따라 계산할 수 있고, 분석자 재량이 개입할 여지가 없어 시비에 강하다. 결과를 놓고 이해당사자들이 다투는 조사일수록 이 검증 가능성의 가치는 커진다. 여론조사에서 순위 문항을 물어 놓고도 정작 분석은 단순 집계로 끝내는 관행은 게으름이 아니라 합리적인 균형이다.

반면 조사 결과로 하나를 골라내야 하는 상황은 다르다. 공모작 선정, 내부 안건 채택, 정책 과제 확정처럼 최종 산출물이 순위표가 아니라 단일한 선택이라면, 단순 집계가 동률을 만들 때 이를 처리할 규칙이 미리 있어야 한다. 이때는 보르다든 다른 방식이든 사전에 합의된 계산식이 뒷말을 막는 장치가 된다. 여기서는 계산식의 복잡함이 공정성의 근거로 작동한다.

항목이 많아 변별이 필요할 때도 점수화가 유용하다. 정책 과제 스무 개의 우선순위를 가리는 조사에서 1+2순위 비율만 보면 상위 서너 개를 제외한 나머지는 전부 한 자릿수 비율로 깔려 구분이 되지 않는다. 담당 부서 입장에서는 자기 사업이 12위인지 15위인지가 예산과 직결되는 문제인데, 이 중하위권의 서열은 전체 순위를 점수화해야 세워진다. 이런 보고서라면 본문에는 1순위와 1+2순위를 싣고, 점수 합산에 의한 종합 서열은 산식을 명시한 별도 표로 제시하는 이원 구성이 무난하다.

마지막으로 개인 수준의 분석이 필요할 때다. 1+2순위 비율은 집단 수준의 요약이라, 어떤 응답자가 어떤 항목을 선호하는지를 다른 변수와 연결하거나 응답자를 선호 유형별로 나누려면 개인별 점수를 산출하는 모형 기반 접근이 있어야 한다. 이 단계는 학술 분석이나 컨조인트 계열의 상품 조사에서 요구되는 것이고, 통상의 실태조사나 인식조사에서 필요한 경우는 드물다.

정리

순위 문항의 실무 지침은 이렇게 요약할 수 있다. 설계에서는 상위 두 순위, 필요하면 세 순위까지만 받고, 모바일 환경에서는 순차 선택 방식으로 구현하며, 제시 순서는 반드시 로테이션한다. 집계에서는 1순위 비율과 1+2순위 비율을 기본으로 하되, 해석의 무게는 1+2순위에 둔다. 가중 합산과 모형 추정은 결과로 무언가를 판정해야 하거나, 항목이 많아 중하위 서열까지 필요하거나, 개인 수준 분석이 목적일 때 꺼내 쓰는 도구다. 순위 데이터는 받아두면 사후에 여러 방식으로 재계산할 수 있는 자산이기도 하다. 보고서에는 단순하게 싣더라도 데이터는 순위 그대로 보존해 둘 일이다.

공무원은 어떻게 표본이 되는가: 표집틀 없는 조사가 감당하는 비용에 관하여

 

공무원은 어떻게 표본이 되는가

표집틀 없는 조사가 감당하는 비용에 관하여

여론조사에서 표본을 뽑으려면 먼저 표집틀이 있어야 한다. 모집단에 속한 대상들의 목록, 그로부터 확률적으로 사람을 골라낼 수 있는 명부다. 일반 국민 조사에서는 이 문제가 오래전에 풀렸다. 통신사 가상번호 체계가 있어 조사기관은 성·연령·지역 기준으로 표본을 배정받아 접촉한다. 표집틀을 조사기관이 직접 만들지 않아도 된다는 것, 이것이 국민 조사의 비용 구조를 지탱하는 토대다.

공무원을 대상으로 하면 이 토대가 통째로 사라진다. 공무원이라는 모집단을 확률표본으로 뽑을 수 있는 표준 명부가 조사자에게 없다. 그 부재가 만들어내는 비효율은 조사 한 건의 불편으로 그치지 않는다. 이 글은 그 비효율이 어디서 생기고 어떻게 누적되는지를 따라가 본다.

모집단은 완벽하다, 다만 닿을 수 없다

공무원은 대한민국에서 가장 완벽하게 관리되는 모집단 중 하나다. 국가공무원은 e-사람에, 지방공무원은 인사랑에 전수로 등록돼 있다. 인사랑은 243개 지자체에 흩어져 있던 인사 DB를 17개 시·도 중심으로 통합해 클라우드로 올렸고, 지방공무원과 공무직까지 포괄한다. 이름, 소속, 직급, 직렬이 빠짐없이 들어 있는 완전한 명부가 이미 존재한다.

조사자에게 이보다 이상적인 표집틀은 없다. 층화도 자유롭고 가중치 설계도 정확해진다. 그러나 이 명부는 인사행정 목적의 개인정보이고, 표집틀로는 결코 밖으로 나오지 않는다. 완벽한 목록이 눈앞에 있는데 조사에는 한 줄도 쓸 수 없다. 공무원 조사 비효율의 뿌리가 여기다. 문제는 명부가 없다는 것이 아니라, 있는 명부에 닿을 수 없다는 것이다.

그래서 저마다 전화번호부를 만든다

접근 가능한 명부가 없으니 조사자들은 각자 표집틀을 자작한다. 방법은 대개 하나로 수렴한다. 기관 홈페이지에 공개된 조직도와 부서 전화번호를 긁는 것이다. 부처 하나를 열면 실 아래 국이 있고 국 아래 과가 있고, 과마다 직통번호와 담당 업무가 붙어 있다. 이것을 기관별로 반복해 표를 채운다. 조사 대상이 중앙부처 전체라면 수백 개 홈페이지가 대상이 된다.

비효율의 첫 번째 층은 중복이다. 이 작업을 조사기관마다 따로 한다. A 기관이 만든 공무원 전화번호부와 B 기관이 만든 것은 같은 원천을 긁은 거의 동일한 산출물인데, 서로 공유되지 않는다. 사회 전체로 보면 동일한 노동이 조사기관 수만큼 반복된다. 표집틀이라는 것이 본래 공공재의 성격을 가지는데, 공무원 조사에서는 그것이 사유재처럼 각자 생산되고 각자 폐기된다.

두 번째 층은 갱신이다. 긁어 만든 표는 만든 순간부터 낡기 시작한다. 인사이동이 상시로 일어나고, 조직개편이 주기적으로 판을 뒤집는다. 부처가 나뉘고 합쳐지며 실·국의 이름이 바뀌면, 작년에 만든 표는 상당 부분 폐기하고 다시 긁어야 한다. 한 번의 수고로 끝나지 않고 조사 때마다 원점으로 돌아가는 구조, 이것이 조사자들이 흔히 무한 루프라 부르는 상태다.

공개돼 있으나 데이터가 아니다

더 답답한 것은 통합본이 실재한다는 사실이다. 공무원들은 서로의 연락처를 정부 전자전화번호부로 조회한다. 부처를 가로지르는 통합 전화번호부가 정부 안에 이미 있고, 국가 도메인에 주소까지 걸려 있다. 다만 행정망 안이나 공무원 인증을 거쳐야 열린다. 담장 밖의 조사자에게는 없는 것과 같다. 존재하는데 닿을 수 없다는 앞의 사정이 여기서 되풀이된다.

밖에서 접근되는 자료들은 저마다 결함이 있다. 정부24의 부서 연락처는 실·국·과 계층과 직통번호를 갖춰 표집틀의 골격에 가장 근접하지만, 중앙행정기관과 광역자치단체까지만 담고 기초자치단체 229곳이 빠진다. 정부간 관계를 다루는 조사는 중앙과 광역과 기초를 함께 봐야 하는데 프레임이 중간에서 끊긴다. 공공데이터포털의 일선기관 연락처는 기관 대표번호 수준이라 부서 단위로는 못 쓴다. 데이터셋마다 붙은 관리부서 연락처를 모으면 기초 부서도 잡히지만, 데이터 등록 업무를 하는 부서로 편중된 부분 명부다.

그러니 조사자는 여러 불완전한 소스를 손으로 이어 붙인다. 정부24로 중앙과 광역을 채우고, 기초는 각 지자체 홈페이지를 하나씩 긁어 메우고, 서로 다른 자료의 형식을 통일한다. 정보는 분명 공개돼 있다. 다만 조사에 쓸 하나의 데이터로는 어디에도 없다. 공개와 활용 사이의 이 간극이 비효율의 세 번째 층이다.

비효율의 값은 누가 치르는가

이 모든 수고는 결국 조사의 값으로 전가된다. 표집틀 구축에 드는 시간과 인건비가 조사 단가에 얹히고, 그 부담은 대개 학술 연구나 공공 목적 조사가 진다. 표집틀 자작 비용을 감당하기 어려운 곳은 아예 확률표본을 포기하고 편의표본으로 물러선다. 접근 가능한 몇몇 기관, 아는 담당자를 통해 표본을 채우는 방식이다. 그 순간 조사의 대표성은 무너지고, 공무원 집단에 대한 우리의 통계적 지식은 그만큼 부실해진다. 표집틀의 부재는 조사자의 불편에서 끝나지 않고 조사 결과의 질로, 나아가 그 결과에 기대는 정책 판단으로 흘러간다.

통계 당국도 이 문제를 몰랐던 것은 아니다. 조사구 방식의 표집틀을 만들려다 접었다는 이야기를 들었는데, 이유는 짐작이 간다. 조사구는 주거지를 기반으로 하는 틀이라 상주인구에는 통하지만, 공무원은 직장 단위로만 접근되는 모집단이다. 기관 협조 없이는 개인 단위 명부를 세울 수 없고, 세운다 해도 인사이동과 조직개편의 속도가 갱신 비용을 감당 못 하게 만든다. 국가의 자원으로도 쉽지 않은 일을 개별 조사기관이 매번 감당하고 있는 셈이다.

루프를 끊는 데 드는 것은 크지 않다

구조를 뜯어보면 이 비효율은 필연이 아니다. 완벽한 전수 명부는 인사시스템 안에 있으나 개인정보라 나오지 않고, 통합 전화번호부는 정부 안에 있으나 담장을 넘지 못한다. 막혀 있는 것은 데이터의 존재가 아니라 접근이다. 그리고 접근을 여는 데 드는 비용은, 지금 사회 전체가 반복해서 치르는 중복 비용에 비하면 크지 않다.

부서 단위의 통합 전화번호부를 분기마다 공공데이터포털에 올리는 것만으로 표집틀 문제의 절반은 해소된다. 이미 각 기관이 홈페이지에 공개하고 있는 정보이니 새로 만들 것도 없고, 비공개로 막을 명분도 약하다. 더 나아가면 e-사람과 인사랑에 이미 모바일 접점까지 깔려 있으므로, 전수 프레임에서 층화 표본을 뽑아 조사 안내를 보내는 일도 기술적으로 가능하다. 국민 조사가 가상번호 체계로 표집틀 문제를 공적으로 해결했듯, 공무원 조사에도 같은 발상이 필요할 뿐이다.

그 전까지 조사자는 홈페이지를 긁고, 표를 깁고, 낡으면 다시 긁는다. 이 반복이 당연한 일로 굳어지면 그 비용은 보이지 않게 된다. 보이지 않는 비용은 줄여야 할 대상으로 인식되지도 않는다. 공무원 조사의 표집틀 이야기를 굳이 기록으로 남기는 이유가 여기에 있다. 무한 루프를 끊는 값이 생각보다 작다는 것을, 루프 안에 있는 사람은 오히려 잊기 쉽기 때문이다.

신세틱 서베이는 마케팅조사에 적합하다는 말의 절반만 맞는 이유

신세틱 서베이는 마케팅조사에 적합하다는 말의 절반만 맞는 이유

신세틱 서베이를 둘러싼 논의에서 자주 접하는 통설이 하나 있다. LLM 기반의 합성 응답은 선거 여론조사처럼 정밀도가 요구되는 영역보다 마케팅조사에 적합하다는 것이다. 이 말은 틀리지 않았다. 다만 절반만 맞다. 정량조사에 한정하면 타당한 진단이지만, 정성조사로 오면 유불리가 뒤집히기 때문이다. 마케팅이냐 정치냐가 적합성을 가르는 기준이 아니라는 얘기다. 이 글에서는 그 기준이 실제로 무엇인지, 그리고 그 기준으로 조사 영역을 나눠보면 어떤 지도가 그려지는지 정리해 보려 한다.

정량에서는 통설이 맞다

먼저 통설이 성립하는 쪽부터 보자. 신세틱 정량이 정치조사에서 설 자리가 없는 이유는 명확하다. 산출물이 숫자이고, 그 숫자를 검증할 정답지가 존재하기 때문이다. 선거 여론조사는 개표라는 최종 채점을 피할 수 없다. 오차 1~2%포인트가 승패 예측을 가르는 판에서, 응답 분포를 재현하는 능력이 검증되지 않은 도구를 투입할 수는 없다. 여기에 공표용 선거 여론조사에 적용되는 규제 요건까지 겹치면, 합성 응답이 공식 수치로 유통될 통로 자체가 막혀 있다.

LLM이 응답 분포 재현에 약하다는 사실도 여러 연구에서 반복적으로 확인된다. 척도 응답에서 중간값으로 쏠리는 경향, 소수 집단의 극단적 응답을 만들어내지 못하는 문제, 학습 데이터의 시차로 인해 최근 이슈에 대한 태도 변화를 반영하지 못하는 한계가 대표적이다. 실제 모집단의 응답 분포는 생각보다 울퉁불퉁하다. 특정 집단에서 응답이 한쪽 끝에 몰리기도 하고, 무응답과 유보가 정보를 담고 있기도 하다. LLM은 이런 요철을 매끄럽게 다려버린다.

같은 정량이라도 마케팅조사에서는 사정이 다르다. 첫째, 검증 압력이 약하다. 브랜드 인지도가 실제보다 5%포인트 높게 나왔다고 해서 그것을 판정해 줄 개표 같은 절차가 없다. 둘째, 오차 허용도가 크다. 구매의향 수치가 다소 부정확해도 의사결정의 방향이 뒤집히는 경우는 드물다. 셋째, 절대 수치가 아니라 상대 비교로 충분한 과제가 많다. 컨셉 A와 B 중 어느 쪽이 우세한지, 패키지 시안 세 개의 순위가 어떻게 되는지만 맞으면 되는 스크리닝 과제에서는 수치의 절대적 정확성이 요구되지 않는다. 분포 재현에 약한 도구라도 순위 재현은 상대적으로 잘하는 편이니, 신세틱 정량의 현실적인 용처는 이런 초기 스크리닝에 있다.

여기까지가 통설의 근거다. 그리고 여기까지만 놓고 보면 마케팅 적합론은 반박할 게 없다. 문제는 이 논리가 정성조사에는 그대로 이식되지 않는다는 데 있다.

정성의 산출물은 숫자가 아니라 논리다

정성조사에서 신세틱의 성패를 가르는 조건은 정량과 완전히 다르다. 정성의 산출물은 분포가 아니라 논리와 언어다. IDI나 FGD 결과 보고서에 담기는 것은 "이 집단이 이런 이유로 이렇게 반응한다"는 설명의 구조이지, 몇 퍼센트라는 수치가 아니다. 따라서 합성 응답에 요구되는 것도 통계적 대표성이 아니라 개연성이다. 그 프로필의 사람이라면 실제로 할 법한 말인가. 이 물음에 그렇다고 답할 수 있으면 쓸모가 성립한다.

그런데 개연성 있는 발화를 생성하는 일은 LLM이 가장 잘하는 과제에 속한다. 관건은 어떤 영역에서 개연성의 재료, 즉 그 집단의 반응 문법이 학습 데이터에 축적되어 있느냐다. 그리고 바로 이 조건에서 마케팅과 정치의 위치가 뒤바뀐다.

정치사회 정성이 잘 되는 이유

정치사회 영역은 반응의 유형이 방대하게 기록된 영역이다. 지지를 철회하는 사람의 논리, 부동층이 망설이는 문법, 세대별 불만이 표현되는 방식, 계층별 정책 수용의 언어까지, 수십 년치 담론이 뉴스와 커뮤니티와 조사 보고서의 형태로 쌓여 있다. LLM에게 특정 프로필의 페르소나를 주고 정치 현안에 대한 견해를 요구하면, 그 집단이 실제로 구사하는 논리 구조에 상당히 근접한 답이 나온다. 재료가 충분하기 때문이다.

여기에 정성조사 실무의 한 가지 특성이 결합하면 신세틱의 강점은 더 커진다. 정치사회 정성조사에서 의외의 답변은 생각만큼 환영받지 않는다는 사실이다. 발주처가 정성조사에 기대하는 것은 특정 집단의 태도에 대한 조리 있는 설명이지, 유형화가 불가능한 돌출 발언이 아니다. 실제 IDI를 스무 명 진행해도 분석 단계에서 논리적으로 정리되지 않는 한두 명의 발언은 결국 보고서에서 걸러진다. 합성 페르소나는 그 필터링이 선반영된 답을 내놓는 셈이다. 실제 응답자 기반 정성에서라면 단점으로 지적될 "너무 정돈된 답변"이, 이 용도에서는 오히려 요구 사양에 부합한다.

정성조사의 목적이 모수 추정이 아니라 논거의 폭을 확보하는 데 있다는 사실도 신세틱에 유리하게 작용한다. 어떤 집단에서 나올 수 있는 주장의 스펙트럼을 채우는 일, 찬성과 반대 각각의 논리 구조를 유형별로 정리하는 일은 대표성을 요구하지 않는다. 페르소나 설계를 정교하게 할수록 스펙트럼의 해상도가 올라가고, 여러 모델을 병렬로 돌리면 모델별 기본 성향의 차이가 답변의 다양성을 추가로 벌려준다.

마케팅 정성이 안 되는 이유

반대로 마케팅 정성으로 오면 신세틱의 조건이 무너진다. 마케팅 정성조사의 대표 과제가 무엇인지 생각해 보면 이유가 드러난다. 신제품 컨셉 평가, 시제품 사용 반응, 새 광고물에 대한 소비자 인상. 하나같이 세상에 없던 자극에 대한 반응을 요구하는 과제다. 학습 데이터에 전례가 없는 자극이니, LLM은 개연성의 재료를 갖고 있지 않다.

재료가 없을 때 LLM이 택하는 경로는 일반론으로의 회귀다. 새 음료 컨셉을 보여주면 "패키지가 눈에 띄고 가격이 합리적이면 구매를 고려하겠다"는 답이 나온다. 틀린 말은 아니지만 어떤 제품에 갖다 놓아도 성립하는 말이라 정보 가치가 없다. 실제 FGD의 가치는 정반대의 발언에서 나온다. 뚜껑을 돌리는 방향이 기존 제품과 반대라서 불편하다든가, 광고 모델의 표정이 제품 톤과 어긋난다든가 하는 구체적 마찰의 발견이다. 이런 발견은 실물과 신체가 부딪히는 경험, 그리고 응답자 개인의 예측 불가능한 감각에서 나오는데, 둘 다 합성 페르소나가 갖지 못한 것이다.

요컨대 정치사회 정성에서 강점이던 "학습된 문법의 재현"이 마케팅 정성에서는 성립 조건 자체를 잃는다. 재현할 문법이 없는 자극 앞에서 정돈된 답변은 공허한 답변이 된다.

사분면으로 정리하면

이렇게 놓고 보면 신세틱 서베이의 적합성을 가르는 판별 기준은 두 가지로 정리된다.

첫째, 과제가 요구하는 것이 수치의 정밀도인가, 논리의 재현인가. 수치 정밀도가 요구될수록 분포 재현에 약한 LLM의 한계가 치명적이 되고, 논리 재현이 요구될수록 언어 생성이라는 강점이 살아난다.

둘째, 반응을 요구하는 자극이 전례 있는 것인가, 새로운 것인가. 학습 데이터에 반응 문법이 축적된 자극일수록 개연성 있는 답이 나오고, 전례 없는 자극일수록 일반론으로 회귀한다.

이 두 기준을 교차하면 사분면이 그려진다. 마케팅 정량은 수치를 다루지만 정밀도 요구가 낮고 상대 비교로 충분한 과제가 많아 우세 영역에 든다. 정치사회 정성은 논리 재현 과제이면서 반응 문법의 축적이 가장 두터운 영역이라 역시 우세 영역이다. 반대로 정치 정량은 수치 정밀도 요구가 극한인 데다 규제 장벽까지 있어 열세 영역이고, 신제품 중심의 마케팅 정성은 전례 없는 자극이라는 조건 때문에 열세 영역이다. 마케팅 적합론이 포착한 것은 이 사분면의 한 칸이었을 뿐, 대각선 반대편에 정치사회 정성이라는 또 하나의 우세 칸이 있었던 셈이다.

 

우세 영역에도 조건은 있다

물론 정치사회 정성이 우세 영역이라는 진단에도 유효 조건이 붙는다.

하나는 국면의 안정성이다. 합성 페르소나의 강점은 축적된 문법의 재현이므로, 문법 자체가 흔들리는 격변기에는 약하다. 예상 못한 사건 이후의 민심, 갑자기 등장한 인물에 대한 반응처럼 학습된 전례가 없는 상황에서 LLM은 과거 유형으로 회귀해 답한다. 평시에는 정돈된 답이 정확한 답이지만, 격변기에는 정돈된 답이 곧 낡은 답이 된다. 이때는 실제 응답자 없이 쓸 수 없다.

다른 하나는 페르소나의 과잉 연기 문제다. 프로필에 규정된 속성을 실제 사람보다 훨씬 충실하게 반영하는 경향이 있어서, 부채가 많은 자영업자로 설정하면 모든 질문에 부채 걱정을 끼워 넣는 식의 답이 나온다. 실제 사람은 자기 프로필대로만 말하지 않는다. 프로필에 상충하는 속성을 의도적으로 심어 내적 긴장을 만들어주는 설계가 이 문제를 어느 정도 완화하지만, 근본적으로 합성 응답에는 실제 응답자의 자기모순과 비합리적 고집이 결여되어 있다는 점은 남는다.

이 두 조건을 감안하면 현실적인 자리는 이렇게 정해진다. 신세틱 정성은 탐색 단계의 가설 생성 도구로 쓰고, 검증은 실제 응답자로 한다. 어떤 논리 유형이 존재할 수 있는지 지도를 먼저 그리는 데 합성 페르소나를 투입하고, 그 지도가 현실과 맞는지, 지도에 없는 것이 현장에 있는지는 사람에게 묻는 이중 구조다. 우세 영역에서조차 대체가 아니라 선행 공정이라는 위치가 당분간의 정답에 가깝다.

신세틱 서베이가 어디에 쓸 만한 도구인지 묻는 질문에 마케팅이냐 정치냐로 답하는 것은 문제를 잘못 자른 것이다. 정량이냐 정성이냐, 그리고 전례 있는 자극이냐 새로운 자극이냐로 잘라야 답이 나온다. 그렇게 자르면 마케팅 정량과 정치사회 정성이라는, 언뜻 어울리지 않아 보이는 두 영역이 같은 편에 서게 된다.

조사 모드 차원 분해표

조사 모드 차원 분해표

1. 문제의식

"문자 인터뷰는 웹조사인가", "이메일에 파일을 첨부해 회수하는 조사는 무슨 모드인가" 같은 질문은 답이 없는 것이 아니라 질문의 형식이 잘못된 것이다. 모드를 상자로 분류하는 한 새로운 기술이 나올 때마다 상자에 안 들어가는 사례가 쌓인다. 대안은 모드를 여섯 개 차원의 조합으로 기술하는 것이다. 각 조사는 상자에 담기는 대신 좌표를 갖는다.

2. 여섯 차원

–   접촉(초대) 채널: 응답자에게 조사 참여 요청이 도달하는 경로. 대면, 전화, 우편, 이메일, 문자메시지(SMS·LMS·RCS), 메신저, SNS 광고 등. 채널은 특정 기술 규격이 아니라 속성(지속성, 인지성, 도달 범위)으로 기술한다. SMS가 RCS로 넘어가도 좌표는 같은 자리다.

–   설문 도구 형태: 문항이 담긴 그릇의 성질. 대화형(에이전트가 문항을 한 번에 하나씩 제시하고 응답을 확인한 뒤 진행), 정적 문서(로직과 검증이 없는 고정된 문서: 종이 설문지, 한글·워드 파일), 프로그래밍 도구(로직 점프, 응답 검증, 필수응답 강제가 내장된 웹·모바일 설문 시스템)로 나뉜다.

–   진행 통제 주체: 문항 제시의 순서와 속도를 누가 쥐는가. 에이전트 통제 대 응답자 통제.

–   에이전트 성격: 인간 / 자동(녹음, 스크립트, 생성형) / 없음(자기기입).

–   응답 채널: 구두, 키패드, 텍스트 입력, 터치·클릭, 지필, 파일 작성·회신.

–   동시성: 응답까지의 시간에 상한이 있는가. 동기 대 비동기.

3. 분해표

모드	접촉 채널	설문 도구	진행 통제	에이전트	응답 채널	동시성
대면면접 (CAPI)	대면 방문	대화 스크립트	에이전트	인간	구두	동기
전화면접 (CATI)	전화	대화 스크립트	에이전트	인간	구두	동기
ARS	전화	대화 스크립트	에이전트	자동(녹음)	키패드	동기
AI 음성 인터뷰	전화	대화 스크립트	에이전트	자동(생성형)	구두	동기
우편조사	우편	정적 문서(종이)	응답자	없음	지필	비동기
이메일 첨부 조사	이메일	정적 문서(파일)	응답자	없음	파일 회신	비동기
PC 웹조사	이메일 등	프로그래밍 도구	응답자	없음	클릭·입력	비동기
문자 발송 모바일 웹조사	문자메시지	프로그래밍 도구	응답자	없음	터치·입력	비동기
문자 인터뷰(인간)	문자메시지	대화 턴 교환	에이전트	인간	텍스트 입력	비동기
문자 인터뷰(자동)	문자메시지	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기
메신저 챗봇 조사	메신저	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기

 

4. 표가 정리하는 경계 사례

–   문자 인터뷰 대 문자 발송 모바일 웹조사: 접촉 채널(문자메시지)은 같고 설문 도구(대화 턴 교환 대 프로그래밍 도구)와 진행 통제(에이전트 대 응답자)에서 갈라진다. "둘 다 문자조사"라는 뭉뚱그림이 왜 부정확한지가 좌표로 드러난다.

–   RCS와 챗봇 조사의 수렴: 버튼과 리치 카드를 지원하는 RCS로 문항을 하나씩 주고받으면 문자 인터뷰(자동)와 메신저 챗봇 조사의 좌표가 사실상 일치한다. 남는 차이는 채널 운영 주체(통신망 표준 대 플랫폼 사업자)인데, 이는 측정 환경이 아니라 도달 가능 모수, 즉 표집틀과 커버리지의 문제다. 미지원 단말에 SMS·LMS로 대체 발송되는 폴백 구조도 같은 이유로 커버리지 서술에 속한다.

–   이메일 첨부 조사 대 우편조사: 접촉 채널만 다르고 나머지 좌표가 전부 같다. 이메일 첨부 조사가 웹조사가 아니라 우편조사의 직계라는 판단이 표에서 바로 확인된다.

–   ARS 대 AI 음성 인터뷰: 응답 채널(키패드 대 구두)과 에이전트의 세부 성격(녹음 대 생성형)이 구분점이다. ARS를 자기기입식으로 볼지 면접식으로 볼지의 오랜 논쟁도 이 틀에서는 "에이전트 통제이므로 면접형, 다만 자동 에이전트"로 정리된다.

–   동시성 재분류: 문자 인터뷰는 대화형이면서 비동기라는 조합으로, 대화형은 곧 동기라는 통념을 깬다. Conrad 등(2026)이 보고한 문자 인터뷰의 반올림 감소는 이 비동기 셀의 효과다.

5. 차원과 오차원의 대응

이 분해가 실무적으로 중요한 이유는 총조사오차의 오차원이 차원별로 따로 붙기 때문이다.

차원	주로 지배하는 오차원
접촉 채널	커버리지 오차, 무응답 오차 (표집틀 도달과 접촉 성공)
설문 도구 형태	측정오차(로직 강제·검증 유무), 처리오차(수작업 입력·정제)
진행 통제	측정오차(문항 건너뛰기, 전체 훑어보기에 따른 순서효과)
에이전트	면접원 효과, 사회적 바람직성 편향, 민감 문항 공개 수준
응답 채널	인지 부담, 척도 제시 방식의 제약
동시성	시간 압박에 따른 만족화(반올림, 즉답), 심사숙고 여지

 

이메일 첨부 조사의 데이터 품질 문제는 이메일이라는 접촉 채널이 아니라 정적 문서라는 도구 형태에서 발생한다. 문자 발송 모바일 웹조사의 빠른 필드는 문자 채널의 지속성·인지성에서 나오고, 응답 품질은 프로그래밍 도구와 비동기성 셀이 결정한다. 모드 개선을 논할 때 어느 차원을 건드리는 것인지 특정할 수 있게 된다.

6. 남는 논점

–   혼합모드 조사는 이 표에서 복수의 행을 갖는 조사로 기술된다. 모드 효과 분석은 행 간 비교가 아니라 차원 간 비교로 내려가야 한다.

–   접촉 채널과 표집틀은 밀접하지만 별개다. 같은 문자 접촉이라도 표집틀이 통신사 마케팅 수신동의 가입자 명부인지 자발적 가입 패널인지에 따라 커버리지 성질이 다르고, RCS 대 메신저의 실질적 차이도 표집틀 쪽에서 발생한다. 표집틀을 일곱째 차원으로 분리하는 쪽이 일관적이며, 이 경우 표집틀 차원은 Frame Procurement Error와 직접 연결된다.

–   에이전트의 자동 범주 안에서 녹음·규칙 기반과 생성형의 구분이 앞으로 더 중요해질 것이다. 생성형 에이전트는 프로빙과 명료화가 가능해 인간 쪽 성질을 일부 갖는다.

–   RCS의 발신 브랜드 프로필과 인증 마크는 발신자 신뢰라는 채널 속성을 추가로 제기한다. 무명 번호 SMS와 인증된 기업 프로필 RCS는 같은 초대장이라도 응답 결정 단계에서 다르게 작동할 수 있어, 무응답 오차 관점의 검증 과제다.