응답자는 설문에 어떻게 답하는가

 

응답자는 설문에 어떻게 답하는가

응답 인지과정 이론의 전개와 현재의 표준

설문 문항 하나에 답하는 데 걸리는 시간은 보통 몇 초에 불과하다. 그러나 그 몇 초 동안 응답자의 머릿속에서는 꽤 복잡한 작업이 진행된다. 질문을 읽고, 무엇을 묻는지 해석하고, 기억을 뒤지고, 흩어진 정보를 하나의 판단으로 만들고, 그 판단을 주어진 보기 중 하나에 맞춰 넣는다. 이 과정 어디에서든 오류가 생길 수 있고, 그 오류가 쌓인 것이 측정오차다. 응답 인지과정 이론은 바로 이 몇 초를 분해해서 보는 이론이다.

이 분야가 체계를 갖춘 것은 1980년대다. 1983년 미국에서 열린 CASM(Cognitive Aspects of Survey Methodology) 세미나를 계기로 인지심리학자와 조사방법론자가 같은 문제를 놓고 협업하기 시작했고, 이후 십여 년 사이에 오늘날까지 인용되는 주요 모델이 대부분 나왔다. 시기순으로 하나씩 살펴본다.

그림 1. 응답 인지과정 이론의 전개(1981~2008). 위아래로 번갈아 배치했을 뿐 계열 구분은 없다.

1. Cannell, Miller & Oksenberg(1981): 두 갈래 길

체계적인 모델로는 가장 이른 것이 Cannell과 동료들의 작업이다. 이들은 면접조사에서 응답이 만들어지는 경로를 둘로 나눴다. 하나는 질문을 제대로 이해하고 기억을 성실히 뒤져서 정답에 가까운 응답을 내놓는 경로다. 다른 하나는 그 과정을 건너뛰는 지름길이다. 지름길을 택한 응답자는 사회적으로 바람직해 보이는 답, 면접원의 표정이나 말투가 암시하는 답, 앞 질문에서 이미 했던 답에 기대어 대충 답한다.

응답의 질이 갈라지는 두 경로를 명시적으로 제시했다는 점에서 이 모델은 10년 뒤 등장하는 만족화 이론의 원형이 됐다. 면접원 행동 표준화, 응답자 서약(commitment) 절차, 피드백 기법 같은 실무 처방도 이 모델에서 나왔다.

2. Tourangeau(1984): 4단계 모델

Tourangeau는 응답 과정을 이해(comprehension), 인출(retrieval), 판단(judgment), 응답(response)의 네 단계로 나눴다. 응답자는 먼저 질문의 어휘와 구문을 해석하고 질문자의 의도를 추론한다. 다음으로 관련 정보를 기억에서 꺼내고, 빠진 부분은 추론으로 메운다. 꺼낸 정보를 통합해 하나의 판단을 만들고, 마지막으로 그 판단을 주어진 응답 범주에 대응시켜 보고한다. 민감한 문항에서 답을 다듬는 응답 편집(editing)은 이 마지막 단계에서 일어난다.

그림 2. Tourangeau의 4단계 모델. 각 단계 아래에 대표적인 하위 과정을 표시했다. 단계 간 이동은 반드시 순차적이지 않으며, 되돌아가거나 건너뛸 수 있다.

이 모델의 강점은 진단 도구로서의 쓸모다. 어떤 문항에서 이상한 응답 분포가 나왔을 때, 문제가 이해 단계에 있는지(어휘가 어렵다, 이중 질문이다), 인출 단계에 있는지(회상 기간이 너무 길다), 판단 단계에 있는지(추정 전략이 문항마다 다르다), 응답 단계에 있는지(보기가 응답자의 판단과 맞지 않는다, 민감해서 숨긴다)를 구분해서 따질 수 있다. 2000년에 Tourangeau, Rips & Rasinski가 펴낸 『The Psychology of Survey Response』는 이 틀을 정교화한 책으로, 이 분야의 표준 교과서로 자리 잡았다.

3. Strack & Martin(1987): 태도 응답의 두 경로

사실 문항과 달리 태도 문항에는 별도의 논의가 붙는다. Strack과 Martin은 태도 질문에 답할 때 두 가지 경로가 있다고 봤다. 하나는 이미 형성해 둔 판단을 기억에서 꺼내 그대로 보고하는 경로다. 다른 하나는 저장된 판단이 없거나 꺼내기 어려울 때, 그 순간 머리에 떠오르는 정보만으로 즉석에서 판단을 새로 만드는 경로다.

그림 3. Strack & Martin의 두 경로 모델. 즉석 구성 경로에서는 그 순간 접근 가능한 정보가 무엇이냐에 따라 응답이 달라진다.

이 구분이 중요한 이유는 즉석 구성 경로의 함의 때문이다. 태도가 서류철처럼 저장돼 있다가 인출되는 게 아니라 질문받는 순간 접근 가능한 정보로 만들어진다면, 앞 문항이 무엇이었는지, 응답 척도가 어떻게 생겼는지에 따라 같은 사람의 응답이 달라질 수 있다. 문항 순서 효과와 응답 척도 효과(context effects)를 설명하는 이론적 기반이 여기서 나왔고, 이후 태도 구성론(attitudes-as-constructions)과 신념 표집(belief-sampling) 모델로 발전했다.

4. Krosnick(1991): 만족화 이론

Krosnick의 만족화(satisficing) 이론은 4단계 모델을 전제로 하되, 응답자가 네 단계를 얼마나 성실히 수행하는지에 주목한다. 네 단계를 모두 충실히 밟는 것이 최적화(optimizing)다. 반대로 인지적 노력을 아끼기 위해 단계를 피상적으로 수행하는 것이 약한 만족화, 인출과 판단 단계를 아예 생략하고 그럴듯한 답을 고르는 것이 강한 만족화다.

그림 4. 최적화와 만족화. 어느 경로를 타는지는 과제 난이도, 응답자 능력, 응답 동기 세 요인의 함수다.

만족화가 일어날 확률은 세 가지 요인으로 결정된다. 과제가 어려울수록, 응답자의 인지 능력이 낮을수록, 응답 동기가 약할수록 만족화 가능성이 커진다. 이 단순한 공식이 강력한 이유는 실무에서 관찰되는 여러 응답 행동을 하나의 원리로 설명하기 때문이다. 보기 첫 번째를 고르는 초두 효과, '그렇다'로 일관하는 묵종 편향, 중간값으로 도피하는 경향, 격자형 문항에서 한 줄로 찍는 비차별화(non-differentiation), 손쉬운 '모름' 선택이 모두 만족화의 발현으로 해석된다. 설문 길이를 줄이고 문항을 쉽게 쓰라는 실무 지침의 이론적 근거가 여기에 있다.

5. Schwarz(1990년대): 설문은 대화다

Schwarz의 기여는 이해 단계를 다시 정의한 것이다. 그는 언어철학자 Grice의 대화 격률을 조사 상황에 적용했다. 일상 대화에서 사람들은 상대가 관련 있는 말만, 필요한 만큼만 한다고 가정하고 발화를 해석한다. 응답자도 마찬가지다. 질문지에 인쇄된 모든 요소, 즉 응답 척도의 범위, 척도에 붙은 숫자, 문항의 순서, 앞 문항의 내용을 조사자의 의도가 담긴 정보로 읽는다.

그림 5. 척도에 붙인 숫자만 바꿔도 응답 분포가 달라진다. 0~10 척도에서는 34%가 하위 절반을 골랐지만, 같은 문항을 −5~+5 척도로 제시하자 13%로 줄었다(Schwarz 외, 1991).

위 실험이 대표적이다. '인생에서 얼마나 성공했다고 생각하는가'를 11점 척도로 물었는데, 척도 숫자를 0~10으로 붙였을 때는 34%가 하위 절반(0~5)을 골랐지만 −5~+5로 붙였을 때는 13%만 하위 절반(−5~0)을 골랐다. 응답자들이 음수를 '성공의 부재'가 아니라 '명백한 실패'로 읽었기 때문이다. 척도 형식은 중립적인 그릇이 아니라 그 자체로 의미를 전달하는 메시지라는 것, 이것이 Schwarz가 남긴 교훈이다.

6. 지금의 표준은 무엇인가

현재 가장 널리 받아들여지는 것은 Tourangeau의 4단계 모델이다. 인지 인터뷰(cognitive interviewing)의 프로빙 설계가 네 단계별로 조직되고, 측정오차의 원인을 진단할 때도 어느 단계에서 문제가 생겼는지를 따지는 방식이 표준이 됐다. AAPOR와 유럽 통계기관들의 질문지 사전검증 지침도 대부분 이 틀 위에 있다.

다만 4단계 모델이 다른 이론을 밀어냈다고 보면 곤란하다. 정확히는 4단계 모델이 뼈대 역할을 하고 나머지 이론이 그 위에 얹혀 있는 구조다. 만족화 이론은 네 단계가 왜, 언제 부실하게 수행되는지를 설명하는 보완 이론으로 함께 인용된다. Schwarz의 대화적 접근은 이해 단계의 작동 방식을 구체화한 것으로 흡수됐다. Strack & Martin의 두 경로는 태도 문항의 인출·판단 단계를 설명하는 하위 이론이 됐다. 그래서 최근 문헌은 4단계를 기본 틀로 두고 만족화와 대화적 해석을 하위 메커니즘으로 통합해 서술하는 것이 일반적이다.

변화가 없는 것은 아니다. 웹조사와 모바일 조사가 표준이 되면서 4단계 모델에 시각적 처리 과정을 추가해야 한다는 논의가 이어졌다. Couper를 중심으로 한 시각 설계(visual design) 연구는 화면 배치, 보기 배열, 입력 방식 자체가 이해 단계와 응답 단계에 개입한다는 것을 보여줬다. 면접원이 없는 자기기입식 환경에서는 응답 동기를 관리할 수단이 줄어들기 때문에 만족화 이론의 설명력이 더 커졌다는 평가도 있다.

7. 모바일 웹조사 실무에 주는 시사점

문자로 조사 URL을 받아 스마트폰 화면에서 응답하는 방식을 기준으로 생각해 보면, 네 단계 각각에 대응하는 설계 과제가 있다. 이해 단계에서는 작은 화면이 제약이다. 스크롤 없이 한눈에 들어오는 문장 길이, 보기가 화면 아래로 잘리지 않는 배치가 어휘 선택만큼 중요해진다. 인출 단계에서는 회상 기간을 짧게 잡고, 필요하면 기준 사건을 제시하는 경계 설정(bounding)이 유효하다. 판단 단계에서는 격자형 문항을 줄이는 것이 우선이다. 격자는 비차별화가 가장 잘 관찰되는 형식이다. 응답 단계에서는 척도 숫자와 배열이 전달하는 암묵적 메시지를 점검해야 한다.

무엇보다 만족화 이론의 세 요인 중 실무자가 통제할 수 있는 것은 과제 난이도뿐이라는 사실을 기억할 필요가 있다. 응답자의 능력은 주어진 조건이고, 문자로 유입된 응답자의 동기는 대체로 높지 않다. 결국 문항을 쉽게, 짧게, 명확하게 만드는 것이 만족화를 줄이는 거의 유일한 수단이다. 응답 인지과정 이론이 40년 전 이론에 머물지 않고 지금도 실무 지침의 근거로 살아 있는 이유다.

참고문헌

Cannell, C. F., Miller, P. V., & Oksenberg, L. (1981). Research on interviewing techniques. Sociological Methodology, 12, 389–437.

Tourangeau, R. (1984). Cognitive sciences and survey methods. In T. Jabine et al. (Eds.), Cognitive Aspects of Survey Methodology: Building a Bridge Between Disciplines. National Academy Press.

Strack, F., & Martin, L. L. (1987). Thinking, judging, and communicating: A process account of context effects in attitude surveys. In H. J. Hippler, N. Schwarz, & S. Sudman (Eds.), Social Information Processing and Survey Methodology. Springer.

Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5(3), 213–236.

Schwarz, N., Knäuper, B., Hippler, H. J., Noelle-Neumann, E., & Clark, L. (1991). Rating scales: Numeric values may change the meaning of scale labels. Public Opinion Quarterly, 55(4), 570–582.

Schwarz, N. (1996). Cognition and Communication: Judgmental Biases, Research Methods, and the Logic of Conversation. Erlbaum.

Sudman, S., Bradburn, N. M., & Schwarz, N. (1996). Thinking About Answers: The Application of Cognitive Processes to Survey Methodology. Jossey-Bass.

Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.

Couper, M. P. (2008). Designing Effective Web Surveys. Cambridge University Press.