순위 문항, 어떻게 묻고 어떻게 집계할 것인가

 

순위 문항, 어떻게 묻고 어떻게 집계할 것인가

조사표 설계에서 순위형 문항의 자리

선호를 묻는 문항 형식은 크게 세 가지다. 하나만 고르게 하는 단일선택, 해당하는 것을 모두 고르게 하는 복수응답, 그리고 좋아하는 순서대로 번호를 매기게 하는 순위 문항이다. 이 중 순위 문항은 조사표 안에서 어정쩡한 위치에 있다. 단일선택보다 정보가 많고 복수응답보다 정교하지만, 응답자에게 요구하는 것도 그만큼 많다. 후보 정책 스무 개를 놓고 우선순위를 매겨 달라는 요청은 응답자 입장에서 상당한 노동이다. 그래서 순위 문항은 쓸 때마다 두 가지 질문이 따라붙는다. 몇 순위까지 물을 것인가, 그리고 받은 순위를 어떻게 집계할 것인가.

몇 순위까지 물을 것인가

교과서적으로는 항목 전체에 순위를 매기게 하는 완전 순위와 상위 몇 개만 고르게 하는 부분 순위로 나뉜다. 실무의 답은 대체로 부분 순위, 그것도 1순위와 2순위, 많아야 3순위까지다. 이유는 응답 품질에 있다. 항목이 예닐곱 개를 넘어가면 하위 순위는 사실상 무작위에 가까워진다. 응답자는 위쪽 두세 개는 진지하게 고르지만, 다섯째와 여섯째의 차이에는 별 생각이 없다. 그렇게 받은 하위 순위를 분석에 쓰면 잡음을 신호로 착각하게 된다. 어차피 못 쓸 데이터라면 처음부터 묻지 않는 편이 응답 부담도 줄이고 중도이탈도 막는다.

모바일 웹 조사 환경에서는 이 문제가 더 커진다. PC 화면에서는 항목을 끌어다 놓는 드래그 방식이 그럭저럭 작동하지만, 스마트폰의 좁은 화면에서 드래그는 오작동과 이탈의 원인이 된다. 순위 개수만큼 문항을 쪼개서 1순위를 고르게 하고, 남은 항목 중에서 2순위를 고르게 하는 순차 선택 방식이 모바일에서는 안정적이다. 이 방식은 화면상 단일선택 문항 두 개와 같아서 응답자 학습 비용이 없고, 1순위로 고른 항목이 2순위 선택지에서 자동으로 빠지도록 프로그래밍하면 논리 오류도 차단된다. 대신 문항 수가 늘어나는 만큼 순위를 세 개 이상 받는 것은 다시 부담이 된다. 모바일 조사에서 1, 2순위 정도로 끊는 관행에는 이런 배경이 있다.

제시 순서 효과도 순위 문항에서 유난히 크다. 목록형 문항은 어떤 형식이든 앞쪽 항목이 유리한 초두효과를 갖지만, 순위 문항은 응답자가 목록을 여러 번 훑어야 하므로 피로가 쌓일수록 앞쪽 항목으로 회귀하는 경향이 강해진다. 항목 제시 순서의 로테이션은 순위 문항에서는 선택이 아니라 필수다.

1순위와 1+2순위, 실무 집계의 기본형

순위를 받아 놓고 나면 집계 방법을 정해야 한다. 실무에서 가장 널리 쓰이는 방식은 두 가지 수치를 나란히 놓는 것이다. 1순위 응답 비율, 그리고 1순위와 2순위를 합친 비율이다. 1+2순위 비율은 각 항목이 응답자의 상위 두 순위 안에 든 비율이므로 합계가 100%를 넘는다는 점만 명시하면 해석에 아무 무리가 없다.

이 두 수치는 각각 다른 것을 보여준다. 1순위 비율은 지지의 강도다. 그 항목을 첫손에 꼽는 사람이 얼마나 되는가를 말해준다. 1+2순위 비율은 지지의 폭이다. 첫손은 아니어도 수용할 수 있다고 여기는 사람까지 포함한 범위다. 두 수치의 격차가 곧 정보다. 1순위에서는 앞서는데 1+2순위에서 따라잡히는 항목은 좋아하는 사람은 확실하지만 확장성이 없는 항목이고, 1순위는 낮은데 1+2순위에서 치고 올라오는 항목은 두루 무난하게 받아들여지는 항목이다. 단일선택 문항이었다면 전자만 보였을 것이고, 복수응답 문항이었다면 둘이 구분되지 않았을 것이다. 순위 문항의 값어치는 사실 이 두 수치의 대비에서 대부분 실현된다.

보고서에 담을 때는 1+2순위 비율을 기준으로 항목을 정렬하고 1순위 비율을 병기하는 편이 읽기 좋다. 상위 순위 안에 들어오는 폭이 대개 의사결정에 더 유용한 정보이고, 강도가 궁금한 독자는 병기된 1순위 열에서 확인하면 되기 때문이다.

가중치를 주는 방법들

순위 정보를 더 쓰고 싶다면 순위별로 점수를 매겨 합산하는 방법이 있다. 고전적인 것이 보르다 카운트다. 항목이 n개일 때 1순위에 n점, 2순위에 n-1점 하는 식으로 점수를 배정해 합산한다. 실무에서는 항목 수와 무관하게 1순위 2점, 2순위 1점처럼 단순화한 변형이 흔하다. 1순위 1점, 2순위 2분의 1점, 3순위 3분의 1점처럼 조화수열로 감쇠시키는 다우달 방식도 있는데, 상위 순위의 비중을 크게 잡고 싶을 때 쓴다.

가중 합산의 약점은 가중치 자체에 근거가 없다는 것이다. 2순위가 1순위의 절반 가치라는 판단은 분석자의 결정이지 데이터에서 나온 것이 아니다. 가중치를 어떻게 잡느냐에 따라 항목 서열이 뒤집히는 경우가 실제로 생기고, 그때 어느 서열이 맞느냐는 질문에 답할 방법이 없다. 결과 수치의 해석도 어렵다. 보르다 점수 3.2점이 높은 것인지 낮은 것인지는 아무도 직관적으로 알지 못한다. 비율로 표현되지 않는 수치는 보고서 밖으로 나가는 순간 소통에 실패한다.

가중치 문제를 데이터 쪽에 넘기는 방법도 있다. 순위 로짓 모형, 혹은 플래킷-루스 모형은 순위를 매기는 행위를 연속된 선택으로 본다. 응답자가 전체 중에서 1순위를 고르고, 남은 것 중에서 2순위를 고른다는 과정을 모형화해서 각 항목의 효용을 추정하는 것이다. 점수를 분석자가 정하지 않고 추정한다는 면에서 보르다류보다 정당화가 되고, 개인 수준의 선호 파라미터가 나오므로 세분화 분석이나 다른 변수와의 결합도 가능하다. 다만 일반 보고서에 넣기에는 설명 비용이 크고, 상위 두어 순위만 받은 부분 순위 데이터에서는 추정할 수 있는 정보 자체가 제한적이다.

순위 문항 자체의 대안으로는 맥스디프가 있다. 항목을 몇 개씩 묶은 세트를 여러 번 보여주고 매번 가장 좋은 것과 가장 나쁜 것만 고르게 하는 방식이다. 순위를 매기는 부담 없이 개인별 선호 점수를 얻을 수 있어 상품 컨셉 평가나 항목이 많은 우선순위 조사에서 쓰임새가 있다. 대신 세트를 여러 번 반복해야 하므로 문항 수가 늘어나, 짧게 끝내야 하는 모바일 조사에는 부담스럽다.

복잡한 방법이 필요한 경우

그렇다면 언제 단순 집계로 충분하고 언제 가중이나 모형이 필요한가. 갈림길은 분석의 목적이 묘사인가 판정인가에 있다.

공표를 전제로 한 조사, 여러 독자가 읽는 보고서라면 답은 거의 언제나 단순 집계다. 1순위와 1+2순위 비율은 통계표만 있으면 누구든 따라 계산할 수 있고, 분석자 재량이 개입할 여지가 없어 시비에 강하다. 결과를 놓고 이해당사자들이 다투는 조사일수록 이 검증 가능성의 가치는 커진다. 여론조사에서 순위 문항을 물어 놓고도 정작 분석은 단순 집계로 끝내는 관행은 게으름이 아니라 합리적인 균형이다.

반면 조사 결과로 하나를 골라내야 하는 상황은 다르다. 공모작 선정, 내부 안건 채택, 정책 과제 확정처럼 최종 산출물이 순위표가 아니라 단일한 선택이라면, 단순 집계가 동률을 만들 때 이를 처리할 규칙이 미리 있어야 한다. 이때는 보르다든 다른 방식이든 사전에 합의된 계산식이 뒷말을 막는 장치가 된다. 여기서는 계산식의 복잡함이 공정성의 근거로 작동한다.

항목이 많아 변별이 필요할 때도 점수화가 유용하다. 정책 과제 스무 개의 우선순위를 가리는 조사에서 1+2순위 비율만 보면 상위 서너 개를 제외한 나머지는 전부 한 자릿수 비율로 깔려 구분이 되지 않는다. 담당 부서 입장에서는 자기 사업이 12위인지 15위인지가 예산과 직결되는 문제인데, 이 중하위권의 서열은 전체 순위를 점수화해야 세워진다. 이런 보고서라면 본문에는 1순위와 1+2순위를 싣고, 점수 합산에 의한 종합 서열은 산식을 명시한 별도 표로 제시하는 이원 구성이 무난하다.

마지막으로 개인 수준의 분석이 필요할 때다. 1+2순위 비율은 집단 수준의 요약이라, 어떤 응답자가 어떤 항목을 선호하는지를 다른 변수와 연결하거나 응답자를 선호 유형별로 나누려면 개인별 점수를 산출하는 모형 기반 접근이 있어야 한다. 이 단계는 학술 분석이나 컨조인트 계열의 상품 조사에서 요구되는 것이고, 통상의 실태조사나 인식조사에서 필요한 경우는 드물다.

정리

순위 문항의 실무 지침은 이렇게 요약할 수 있다. 설계에서는 상위 두 순위, 필요하면 세 순위까지만 받고, 모바일 환경에서는 순차 선택 방식으로 구현하며, 제시 순서는 반드시 로테이션한다. 집계에서는 1순위 비율과 1+2순위 비율을 기본으로 하되, 해석의 무게는 1+2순위에 둔다. 가중 합산과 모형 추정은 결과로 무언가를 판정해야 하거나, 항목이 많아 중하위 서열까지 필요하거나, 개인 수준 분석이 목적일 때 꺼내 쓰는 도구다. 순위 데이터는 받아두면 사후에 여러 방식으로 재계산할 수 있는 자산이기도 하다. 보고서에는 단순하게 싣더라도 데이터는 순위 그대로 보존해 둘 일이다.

공무원은 어떻게 표본이 되는가: 표집틀 없는 조사가 감당하는 비용에 관하여

 

공무원은 어떻게 표본이 되는가

표집틀 없는 조사가 감당하는 비용에 관하여

여론조사에서 표본을 뽑으려면 먼저 표집틀이 있어야 한다. 모집단에 속한 대상들의 목록, 그로부터 확률적으로 사람을 골라낼 수 있는 명부다. 일반 국민 조사에서는 이 문제가 오래전에 풀렸다. 통신사 가상번호 체계가 있어 조사기관은 성·연령·지역 기준으로 표본을 배정받아 접촉한다. 표집틀을 조사기관이 직접 만들지 않아도 된다는 것, 이것이 국민 조사의 비용 구조를 지탱하는 토대다.

공무원을 대상으로 하면 이 토대가 통째로 사라진다. 공무원이라는 모집단을 확률표본으로 뽑을 수 있는 표준 명부가 조사자에게 없다. 그 부재가 만들어내는 비효율은 조사 한 건의 불편으로 그치지 않는다. 이 글은 그 비효율이 어디서 생기고 어떻게 누적되는지를 따라가 본다.

모집단은 완벽하다, 다만 닿을 수 없다

공무원은 대한민국에서 가장 완벽하게 관리되는 모집단 중 하나다. 국가공무원은 e-사람에, 지방공무원은 인사랑에 전수로 등록돼 있다. 인사랑은 243개 지자체에 흩어져 있던 인사 DB를 17개 시·도 중심으로 통합해 클라우드로 올렸고, 지방공무원과 공무직까지 포괄한다. 이름, 소속, 직급, 직렬이 빠짐없이 들어 있는 완전한 명부가 이미 존재한다.

조사자에게 이보다 이상적인 표집틀은 없다. 층화도 자유롭고 가중치 설계도 정확해진다. 그러나 이 명부는 인사행정 목적의 개인정보이고, 표집틀로는 결코 밖으로 나오지 않는다. 완벽한 목록이 눈앞에 있는데 조사에는 한 줄도 쓸 수 없다. 공무원 조사 비효율의 뿌리가 여기다. 문제는 명부가 없다는 것이 아니라, 있는 명부에 닿을 수 없다는 것이다.

그래서 저마다 전화번호부를 만든다

접근 가능한 명부가 없으니 조사자들은 각자 표집틀을 자작한다. 방법은 대개 하나로 수렴한다. 기관 홈페이지에 공개된 조직도와 부서 전화번호를 긁는 것이다. 부처 하나를 열면 실 아래 국이 있고 국 아래 과가 있고, 과마다 직통번호와 담당 업무가 붙어 있다. 이것을 기관별로 반복해 표를 채운다. 조사 대상이 중앙부처 전체라면 수백 개 홈페이지가 대상이 된다.

비효율의 첫 번째 층은 중복이다. 이 작업을 조사기관마다 따로 한다. A 기관이 만든 공무원 전화번호부와 B 기관이 만든 것은 같은 원천을 긁은 거의 동일한 산출물인데, 서로 공유되지 않는다. 사회 전체로 보면 동일한 노동이 조사기관 수만큼 반복된다. 표집틀이라는 것이 본래 공공재의 성격을 가지는데, 공무원 조사에서는 그것이 사유재처럼 각자 생산되고 각자 폐기된다.

두 번째 층은 갱신이다. 긁어 만든 표는 만든 순간부터 낡기 시작한다. 인사이동이 상시로 일어나고, 조직개편이 주기적으로 판을 뒤집는다. 부처가 나뉘고 합쳐지며 실·국의 이름이 바뀌면, 작년에 만든 표는 상당 부분 폐기하고 다시 긁어야 한다. 한 번의 수고로 끝나지 않고 조사 때마다 원점으로 돌아가는 구조, 이것이 조사자들이 흔히 무한 루프라 부르는 상태다.

공개돼 있으나 데이터가 아니다

더 답답한 것은 통합본이 실재한다는 사실이다. 공무원들은 서로의 연락처를 정부 전자전화번호부로 조회한다. 부처를 가로지르는 통합 전화번호부가 정부 안에 이미 있고, 국가 도메인에 주소까지 걸려 있다. 다만 행정망 안이나 공무원 인증을 거쳐야 열린다. 담장 밖의 조사자에게는 없는 것과 같다. 존재하는데 닿을 수 없다는 앞의 사정이 여기서 되풀이된다.

밖에서 접근되는 자료들은 저마다 결함이 있다. 정부24의 부서 연락처는 실·국·과 계층과 직통번호를 갖춰 표집틀의 골격에 가장 근접하지만, 중앙행정기관과 광역자치단체까지만 담고 기초자치단체 229곳이 빠진다. 정부간 관계를 다루는 조사는 중앙과 광역과 기초를 함께 봐야 하는데 프레임이 중간에서 끊긴다. 공공데이터포털의 일선기관 연락처는 기관 대표번호 수준이라 부서 단위로는 못 쓴다. 데이터셋마다 붙은 관리부서 연락처를 모으면 기초 부서도 잡히지만, 데이터 등록 업무를 하는 부서로 편중된 부분 명부다.

그러니 조사자는 여러 불완전한 소스를 손으로 이어 붙인다. 정부24로 중앙과 광역을 채우고, 기초는 각 지자체 홈페이지를 하나씩 긁어 메우고, 서로 다른 자료의 형식을 통일한다. 정보는 분명 공개돼 있다. 다만 조사에 쓸 하나의 데이터로는 어디에도 없다. 공개와 활용 사이의 이 간극이 비효율의 세 번째 층이다.

비효율의 값은 누가 치르는가

이 모든 수고는 결국 조사의 값으로 전가된다. 표집틀 구축에 드는 시간과 인건비가 조사 단가에 얹히고, 그 부담은 대개 학술 연구나 공공 목적 조사가 진다. 표집틀 자작 비용을 감당하기 어려운 곳은 아예 확률표본을 포기하고 편의표본으로 물러선다. 접근 가능한 몇몇 기관, 아는 담당자를 통해 표본을 채우는 방식이다. 그 순간 조사의 대표성은 무너지고, 공무원 집단에 대한 우리의 통계적 지식은 그만큼 부실해진다. 표집틀의 부재는 조사자의 불편에서 끝나지 않고 조사 결과의 질로, 나아가 그 결과에 기대는 정책 판단으로 흘러간다.

통계 당국도 이 문제를 몰랐던 것은 아니다. 조사구 방식의 표집틀을 만들려다 접었다는 이야기를 들었는데, 이유는 짐작이 간다. 조사구는 주거지를 기반으로 하는 틀이라 상주인구에는 통하지만, 공무원은 직장 단위로만 접근되는 모집단이다. 기관 협조 없이는 개인 단위 명부를 세울 수 없고, 세운다 해도 인사이동과 조직개편의 속도가 갱신 비용을 감당 못 하게 만든다. 국가의 자원으로도 쉽지 않은 일을 개별 조사기관이 매번 감당하고 있는 셈이다.

루프를 끊는 데 드는 것은 크지 않다

구조를 뜯어보면 이 비효율은 필연이 아니다. 완벽한 전수 명부는 인사시스템 안에 있으나 개인정보라 나오지 않고, 통합 전화번호부는 정부 안에 있으나 담장을 넘지 못한다. 막혀 있는 것은 데이터의 존재가 아니라 접근이다. 그리고 접근을 여는 데 드는 비용은, 지금 사회 전체가 반복해서 치르는 중복 비용에 비하면 크지 않다.

부서 단위의 통합 전화번호부를 분기마다 공공데이터포털에 올리는 것만으로 표집틀 문제의 절반은 해소된다. 이미 각 기관이 홈페이지에 공개하고 있는 정보이니 새로 만들 것도 없고, 비공개로 막을 명분도 약하다. 더 나아가면 e-사람과 인사랑에 이미 모바일 접점까지 깔려 있으므로, 전수 프레임에서 층화 표본을 뽑아 조사 안내를 보내는 일도 기술적으로 가능하다. 국민 조사가 가상번호 체계로 표집틀 문제를 공적으로 해결했듯, 공무원 조사에도 같은 발상이 필요할 뿐이다.

그 전까지 조사자는 홈페이지를 긁고, 표를 깁고, 낡으면 다시 긁는다. 이 반복이 당연한 일로 굳어지면 그 비용은 보이지 않게 된다. 보이지 않는 비용은 줄여야 할 대상으로 인식되지도 않는다. 공무원 조사의 표집틀 이야기를 굳이 기록으로 남기는 이유가 여기에 있다. 무한 루프를 끊는 값이 생각보다 작다는 것을, 루프 안에 있는 사람은 오히려 잊기 쉽기 때문이다.

신세틱 서베이는 마케팅조사에 적합하다는 말의 절반만 맞는 이유

신세틱 서베이는 마케팅조사에 적합하다는 말의 절반만 맞는 이유

신세틱 서베이를 둘러싼 논의에서 자주 접하는 통설이 하나 있다. LLM 기반의 합성 응답은 선거 여론조사처럼 정밀도가 요구되는 영역보다 마케팅조사에 적합하다는 것이다. 이 말은 틀리지 않았다. 다만 절반만 맞다. 정량조사에 한정하면 타당한 진단이지만, 정성조사로 오면 유불리가 뒤집히기 때문이다. 마케팅이냐 정치냐가 적합성을 가르는 기준이 아니라는 얘기다. 이 글에서는 그 기준이 실제로 무엇인지, 그리고 그 기준으로 조사 영역을 나눠보면 어떤 지도가 그려지는지 정리해 보려 한다.

정량에서는 통설이 맞다

먼저 통설이 성립하는 쪽부터 보자. 신세틱 정량이 정치조사에서 설 자리가 없는 이유는 명확하다. 산출물이 숫자이고, 그 숫자를 검증할 정답지가 존재하기 때문이다. 선거 여론조사는 개표라는 최종 채점을 피할 수 없다. 오차 1~2%포인트가 승패 예측을 가르는 판에서, 응답 분포를 재현하는 능력이 검증되지 않은 도구를 투입할 수는 없다. 여기에 공표용 선거 여론조사에 적용되는 규제 요건까지 겹치면, 합성 응답이 공식 수치로 유통될 통로 자체가 막혀 있다.

LLM이 응답 분포 재현에 약하다는 사실도 여러 연구에서 반복적으로 확인된다. 척도 응답에서 중간값으로 쏠리는 경향, 소수 집단의 극단적 응답을 만들어내지 못하는 문제, 학습 데이터의 시차로 인해 최근 이슈에 대한 태도 변화를 반영하지 못하는 한계가 대표적이다. 실제 모집단의 응답 분포는 생각보다 울퉁불퉁하다. 특정 집단에서 응답이 한쪽 끝에 몰리기도 하고, 무응답과 유보가 정보를 담고 있기도 하다. LLM은 이런 요철을 매끄럽게 다려버린다.

같은 정량이라도 마케팅조사에서는 사정이 다르다. 첫째, 검증 압력이 약하다. 브랜드 인지도가 실제보다 5%포인트 높게 나왔다고 해서 그것을 판정해 줄 개표 같은 절차가 없다. 둘째, 오차 허용도가 크다. 구매의향 수치가 다소 부정확해도 의사결정의 방향이 뒤집히는 경우는 드물다. 셋째, 절대 수치가 아니라 상대 비교로 충분한 과제가 많다. 컨셉 A와 B 중 어느 쪽이 우세한지, 패키지 시안 세 개의 순위가 어떻게 되는지만 맞으면 되는 스크리닝 과제에서는 수치의 절대적 정확성이 요구되지 않는다. 분포 재현에 약한 도구라도 순위 재현은 상대적으로 잘하는 편이니, 신세틱 정량의 현실적인 용처는 이런 초기 스크리닝에 있다.

여기까지가 통설의 근거다. 그리고 여기까지만 놓고 보면 마케팅 적합론은 반박할 게 없다. 문제는 이 논리가 정성조사에는 그대로 이식되지 않는다는 데 있다.

정성의 산출물은 숫자가 아니라 논리다

정성조사에서 신세틱의 성패를 가르는 조건은 정량과 완전히 다르다. 정성의 산출물은 분포가 아니라 논리와 언어다. IDI나 FGD 결과 보고서에 담기는 것은 "이 집단이 이런 이유로 이렇게 반응한다"는 설명의 구조이지, 몇 퍼센트라는 수치가 아니다. 따라서 합성 응답에 요구되는 것도 통계적 대표성이 아니라 개연성이다. 그 프로필의 사람이라면 실제로 할 법한 말인가. 이 물음에 그렇다고 답할 수 있으면 쓸모가 성립한다.

그런데 개연성 있는 발화를 생성하는 일은 LLM이 가장 잘하는 과제에 속한다. 관건은 어떤 영역에서 개연성의 재료, 즉 그 집단의 반응 문법이 학습 데이터에 축적되어 있느냐다. 그리고 바로 이 조건에서 마케팅과 정치의 위치가 뒤바뀐다.

정치사회 정성이 잘 되는 이유

정치사회 영역은 반응의 유형이 방대하게 기록된 영역이다. 지지를 철회하는 사람의 논리, 부동층이 망설이는 문법, 세대별 불만이 표현되는 방식, 계층별 정책 수용의 언어까지, 수십 년치 담론이 뉴스와 커뮤니티와 조사 보고서의 형태로 쌓여 있다. LLM에게 특정 프로필의 페르소나를 주고 정치 현안에 대한 견해를 요구하면, 그 집단이 실제로 구사하는 논리 구조에 상당히 근접한 답이 나온다. 재료가 충분하기 때문이다.

여기에 정성조사 실무의 한 가지 특성이 결합하면 신세틱의 강점은 더 커진다. 정치사회 정성조사에서 의외의 답변은 생각만큼 환영받지 않는다는 사실이다. 발주처가 정성조사에 기대하는 것은 특정 집단의 태도에 대한 조리 있는 설명이지, 유형화가 불가능한 돌출 발언이 아니다. 실제 IDI를 스무 명 진행해도 분석 단계에서 논리적으로 정리되지 않는 한두 명의 발언은 결국 보고서에서 걸러진다. 합성 페르소나는 그 필터링이 선반영된 답을 내놓는 셈이다. 실제 응답자 기반 정성에서라면 단점으로 지적될 "너무 정돈된 답변"이, 이 용도에서는 오히려 요구 사양에 부합한다.

정성조사의 목적이 모수 추정이 아니라 논거의 폭을 확보하는 데 있다는 사실도 신세틱에 유리하게 작용한다. 어떤 집단에서 나올 수 있는 주장의 스펙트럼을 채우는 일, 찬성과 반대 각각의 논리 구조를 유형별로 정리하는 일은 대표성을 요구하지 않는다. 페르소나 설계를 정교하게 할수록 스펙트럼의 해상도가 올라가고, 여러 모델을 병렬로 돌리면 모델별 기본 성향의 차이가 답변의 다양성을 추가로 벌려준다.

마케팅 정성이 안 되는 이유

반대로 마케팅 정성으로 오면 신세틱의 조건이 무너진다. 마케팅 정성조사의 대표 과제가 무엇인지 생각해 보면 이유가 드러난다. 신제품 컨셉 평가, 시제품 사용 반응, 새 광고물에 대한 소비자 인상. 하나같이 세상에 없던 자극에 대한 반응을 요구하는 과제다. 학습 데이터에 전례가 없는 자극이니, LLM은 개연성의 재료를 갖고 있지 않다.

재료가 없을 때 LLM이 택하는 경로는 일반론으로의 회귀다. 새 음료 컨셉을 보여주면 "패키지가 눈에 띄고 가격이 합리적이면 구매를 고려하겠다"는 답이 나온다. 틀린 말은 아니지만 어떤 제품에 갖다 놓아도 성립하는 말이라 정보 가치가 없다. 실제 FGD의 가치는 정반대의 발언에서 나온다. 뚜껑을 돌리는 방향이 기존 제품과 반대라서 불편하다든가, 광고 모델의 표정이 제품 톤과 어긋난다든가 하는 구체적 마찰의 발견이다. 이런 발견은 실물과 신체가 부딪히는 경험, 그리고 응답자 개인의 예측 불가능한 감각에서 나오는데, 둘 다 합성 페르소나가 갖지 못한 것이다.

요컨대 정치사회 정성에서 강점이던 "학습된 문법의 재현"이 마케팅 정성에서는 성립 조건 자체를 잃는다. 재현할 문법이 없는 자극 앞에서 정돈된 답변은 공허한 답변이 된다.

사분면으로 정리하면

이렇게 놓고 보면 신세틱 서베이의 적합성을 가르는 판별 기준은 두 가지로 정리된다.

첫째, 과제가 요구하는 것이 수치의 정밀도인가, 논리의 재현인가. 수치 정밀도가 요구될수록 분포 재현에 약한 LLM의 한계가 치명적이 되고, 논리 재현이 요구될수록 언어 생성이라는 강점이 살아난다.

둘째, 반응을 요구하는 자극이 전례 있는 것인가, 새로운 것인가. 학습 데이터에 반응 문법이 축적된 자극일수록 개연성 있는 답이 나오고, 전례 없는 자극일수록 일반론으로 회귀한다.

이 두 기준을 교차하면 사분면이 그려진다. 마케팅 정량은 수치를 다루지만 정밀도 요구가 낮고 상대 비교로 충분한 과제가 많아 우세 영역에 든다. 정치사회 정성은 논리 재현 과제이면서 반응 문법의 축적이 가장 두터운 영역이라 역시 우세 영역이다. 반대로 정치 정량은 수치 정밀도 요구가 극한인 데다 규제 장벽까지 있어 열세 영역이고, 신제품 중심의 마케팅 정성은 전례 없는 자극이라는 조건 때문에 열세 영역이다. 마케팅 적합론이 포착한 것은 이 사분면의 한 칸이었을 뿐, 대각선 반대편에 정치사회 정성이라는 또 하나의 우세 칸이 있었던 셈이다.

 

우세 영역에도 조건은 있다

물론 정치사회 정성이 우세 영역이라는 진단에도 유효 조건이 붙는다.

하나는 국면의 안정성이다. 합성 페르소나의 강점은 축적된 문법의 재현이므로, 문법 자체가 흔들리는 격변기에는 약하다. 예상 못한 사건 이후의 민심, 갑자기 등장한 인물에 대한 반응처럼 학습된 전례가 없는 상황에서 LLM은 과거 유형으로 회귀해 답한다. 평시에는 정돈된 답이 정확한 답이지만, 격변기에는 정돈된 답이 곧 낡은 답이 된다. 이때는 실제 응답자 없이 쓸 수 없다.

다른 하나는 페르소나의 과잉 연기 문제다. 프로필에 규정된 속성을 실제 사람보다 훨씬 충실하게 반영하는 경향이 있어서, 부채가 많은 자영업자로 설정하면 모든 질문에 부채 걱정을 끼워 넣는 식의 답이 나온다. 실제 사람은 자기 프로필대로만 말하지 않는다. 프로필에 상충하는 속성을 의도적으로 심어 내적 긴장을 만들어주는 설계가 이 문제를 어느 정도 완화하지만, 근본적으로 합성 응답에는 실제 응답자의 자기모순과 비합리적 고집이 결여되어 있다는 점은 남는다.

이 두 조건을 감안하면 현실적인 자리는 이렇게 정해진다. 신세틱 정성은 탐색 단계의 가설 생성 도구로 쓰고, 검증은 실제 응답자로 한다. 어떤 논리 유형이 존재할 수 있는지 지도를 먼저 그리는 데 합성 페르소나를 투입하고, 그 지도가 현실과 맞는지, 지도에 없는 것이 현장에 있는지는 사람에게 묻는 이중 구조다. 우세 영역에서조차 대체가 아니라 선행 공정이라는 위치가 당분간의 정답에 가깝다.

신세틱 서베이가 어디에 쓸 만한 도구인지 묻는 질문에 마케팅이냐 정치냐로 답하는 것은 문제를 잘못 자른 것이다. 정량이냐 정성이냐, 그리고 전례 있는 자극이냐 새로운 자극이냐로 잘라야 답이 나온다. 그렇게 자르면 마케팅 정량과 정치사회 정성이라는, 언뜻 어울리지 않아 보이는 두 영역이 같은 편에 서게 된다.

조사 모드 차원 분해표

조사 모드 차원 분해표

1. 문제의식

"문자 인터뷰는 웹조사인가", "이메일에 파일을 첨부해 회수하는 조사는 무슨 모드인가" 같은 질문은 답이 없는 것이 아니라 질문의 형식이 잘못된 것이다. 모드를 상자로 분류하는 한 새로운 기술이 나올 때마다 상자에 안 들어가는 사례가 쌓인다. 대안은 모드를 여섯 개 차원의 조합으로 기술하는 것이다. 각 조사는 상자에 담기는 대신 좌표를 갖는다.

2. 여섯 차원

–   접촉(초대) 채널: 응답자에게 조사 참여 요청이 도달하는 경로. 대면, 전화, 우편, 이메일, 문자메시지(SMS·LMS·RCS), 메신저, SNS 광고 등. 채널은 특정 기술 규격이 아니라 속성(지속성, 인지성, 도달 범위)으로 기술한다. SMS가 RCS로 넘어가도 좌표는 같은 자리다.

–   설문 도구 형태: 문항이 담긴 그릇의 성질. 대화형(에이전트가 문항을 한 번에 하나씩 제시하고 응답을 확인한 뒤 진행), 정적 문서(로직과 검증이 없는 고정된 문서: 종이 설문지, 한글·워드 파일), 프로그래밍 도구(로직 점프, 응답 검증, 필수응답 강제가 내장된 웹·모바일 설문 시스템)로 나뉜다.

–   진행 통제 주체: 문항 제시의 순서와 속도를 누가 쥐는가. 에이전트 통제 대 응답자 통제.

–   에이전트 성격: 인간 / 자동(녹음, 스크립트, 생성형) / 없음(자기기입).

–   응답 채널: 구두, 키패드, 텍스트 입력, 터치·클릭, 지필, 파일 작성·회신.

–   동시성: 응답까지의 시간에 상한이 있는가. 동기 대 비동기.

3. 분해표

모드	접촉 채널	설문 도구	진행 통제	에이전트	응답 채널	동시성
대면면접 (CAPI)	대면 방문	대화 스크립트	에이전트	인간	구두	동기
전화면접 (CATI)	전화	대화 스크립트	에이전트	인간	구두	동기
ARS	전화	대화 스크립트	에이전트	자동(녹음)	키패드	동기
AI 음성 인터뷰	전화	대화 스크립트	에이전트	자동(생성형)	구두	동기
우편조사	우편	정적 문서(종이)	응답자	없음	지필	비동기
이메일 첨부 조사	이메일	정적 문서(파일)	응답자	없음	파일 회신	비동기
PC 웹조사	이메일 등	프로그래밍 도구	응답자	없음	클릭·입력	비동기
문자 발송 모바일 웹조사	문자메시지	프로그래밍 도구	응답자	없음	터치·입력	비동기
문자 인터뷰(인간)	문자메시지	대화 턴 교환	에이전트	인간	텍스트 입력	비동기
문자 인터뷰(자동)	문자메시지	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기
메신저 챗봇 조사	메신저	대화 턴 교환	에이전트	자동	텍스트·버튼	비동기

 

4. 표가 정리하는 경계 사례

–   문자 인터뷰 대 문자 발송 모바일 웹조사: 접촉 채널(문자메시지)은 같고 설문 도구(대화 턴 교환 대 프로그래밍 도구)와 진행 통제(에이전트 대 응답자)에서 갈라진다. "둘 다 문자조사"라는 뭉뚱그림이 왜 부정확한지가 좌표로 드러난다.

–   RCS와 챗봇 조사의 수렴: 버튼과 리치 카드를 지원하는 RCS로 문항을 하나씩 주고받으면 문자 인터뷰(자동)와 메신저 챗봇 조사의 좌표가 사실상 일치한다. 남는 차이는 채널 운영 주체(통신망 표준 대 플랫폼 사업자)인데, 이는 측정 환경이 아니라 도달 가능 모수, 즉 표집틀과 커버리지의 문제다. 미지원 단말에 SMS·LMS로 대체 발송되는 폴백 구조도 같은 이유로 커버리지 서술에 속한다.

–   이메일 첨부 조사 대 우편조사: 접촉 채널만 다르고 나머지 좌표가 전부 같다. 이메일 첨부 조사가 웹조사가 아니라 우편조사의 직계라는 판단이 표에서 바로 확인된다.

–   ARS 대 AI 음성 인터뷰: 응답 채널(키패드 대 구두)과 에이전트의 세부 성격(녹음 대 생성형)이 구분점이다. ARS를 자기기입식으로 볼지 면접식으로 볼지의 오랜 논쟁도 이 틀에서는 "에이전트 통제이므로 면접형, 다만 자동 에이전트"로 정리된다.

–   동시성 재분류: 문자 인터뷰는 대화형이면서 비동기라는 조합으로, 대화형은 곧 동기라는 통념을 깬다. Conrad 등(2026)이 보고한 문자 인터뷰의 반올림 감소는 이 비동기 셀의 효과다.

5. 차원과 오차원의 대응

이 분해가 실무적으로 중요한 이유는 총조사오차의 오차원이 차원별로 따로 붙기 때문이다.

차원	주로 지배하는 오차원
접촉 채널	커버리지 오차, 무응답 오차 (표집틀 도달과 접촉 성공)
설문 도구 형태	측정오차(로직 강제·검증 유무), 처리오차(수작업 입력·정제)
진행 통제	측정오차(문항 건너뛰기, 전체 훑어보기에 따른 순서효과)
에이전트	면접원 효과, 사회적 바람직성 편향, 민감 문항 공개 수준
응답 채널	인지 부담, 척도 제시 방식의 제약
동시성	시간 압박에 따른 만족화(반올림, 즉답), 심사숙고 여지

 

이메일 첨부 조사의 데이터 품질 문제는 이메일이라는 접촉 채널이 아니라 정적 문서라는 도구 형태에서 발생한다. 문자 발송 모바일 웹조사의 빠른 필드는 문자 채널의 지속성·인지성에서 나오고, 응답 품질은 프로그래밍 도구와 비동기성 셀이 결정한다. 모드 개선을 논할 때 어느 차원을 건드리는 것인지 특정할 수 있게 된다.

6. 남는 논점

–   혼합모드 조사는 이 표에서 복수의 행을 갖는 조사로 기술된다. 모드 효과 분석은 행 간 비교가 아니라 차원 간 비교로 내려가야 한다.

–   접촉 채널과 표집틀은 밀접하지만 별개다. 같은 문자 접촉이라도 표집틀이 통신사 마케팅 수신동의 가입자 명부인지 자발적 가입 패널인지에 따라 커버리지 성질이 다르고, RCS 대 메신저의 실질적 차이도 표집틀 쪽에서 발생한다. 표집틀을 일곱째 차원으로 분리하는 쪽이 일관적이며, 이 경우 표집틀 차원은 Frame Procurement Error와 직접 연결된다.

–   에이전트의 자동 범주 안에서 녹음·규칙 기반과 생성형의 구분이 앞으로 더 중요해질 것이다. 생성형 에이전트는 프로빙과 명료화가 가능해 인간 쪽 성질을 일부 갖는다.

–   RCS의 발신 브랜드 프로필과 인증 마크는 발신자 신뢰라는 채널 속성을 추가로 제기한다. 무명 번호 SMS와 인증된 기업 프로필 RCS는 같은 초대장이라도 응답 결정 단계에서 다르게 작동할 수 있어, 무응답 오차 관점의 검증 과제다.

 

느리게 답할수록 반올림이 줄었다: 문자 인터뷰 모드의 세 가지 속성

문자메시지를 조사에 쓰는 방식은 두 갈래다. 하나는 문자로 초대장을 보내고 응답은 웹 설문에서 받는 방식이고, 다른 하나는 문자 대화창 안에서 질문과 응답을 주고받는 문자 인터뷰다. 미시간대학의 Conrad 연구팀이 JSSAM에 발표한 이 논문은 후자, 즉 문자 인터뷰 모드를 전화(음성) 인터뷰와 정면 비교한 연구다. 흥미로운 점은 결과 나열에 그치지 않고, 문자라는 매체의 속성 세 가지로 그 결과들을 설명하는 이론틀을 세웠다는 것이다.

세 속성은 이렇다. 문자는 비동기적이다. 답장까지의 시간에 상한이 없어서 응답자가 필요한 만큼 생각하고 답할 수 있다. 문자는 지속된다. 말은 발화 순간 사라지지만 문자는 지우기 전까지 기기에 남아, 몇 시간 뒤에도 앞 메시지를 다시 읽고 답할 수 있다. 그리고 문자는 눈에 띈다. 알림과 미확인 표시가 "아직 답하지 않은 메시지가 있다"는 사실을 계속 상기시킨다. 전화벨은 20초 울리고 끝나지만 문자 초대장은 스스로가 독촉장 역할을 한다. 비동기성은 지속성과 인지성 위에서 성립한다. 메시지가 남아 있고 그 존재를 알고 있어야 나중에 답하는 것이 가능하기 때문이다.

데이터는 아이폰 사용자 634명을 네 모드에 무작위 배정한 실험에서 나왔다. 자동 문자(AT), 인간 면접원 문자(HT), 자동 음성(AV), 인간 전화면접(HV)이다. 같은 32개 문항을 물었고, 그중 9개가 수치 응답 문항이라 반올림 응답(0이나 5로 끝나는 값)이라는 만족화 지표를 모드 간 비교할 수 있었다. 원 실험(Schober et al. 2015)에서 문자 응답자가 만족화를 덜 하고 민감 정보를 더 공개한다는 결과는 이미 보고됐고, 이번 논문은 그 이유를 시간 데이터로 파고든 후속 분석이다.

결과를 순서대로 보자. 첫째, 인터뷰 시작률은 문자 65.3% 대 음성 49.5%로 문자가 확실히 높았다. 인간 면접원이 문자로 초대한 조합(HT)이 77.5%로 가장 높았는데, 응답자가 상대가 인간인지 기계인지를 어떤 수준에서든 감지하고 인간 쪽에 더 응한다는 뜻이다. 둘째, 개별 인터뷰는 문자가 길었다. 중위값 기준 HT 30분, AT 19분, AV 12분, HV 7.6분이다. 그런데 이 길이가 응답자의 장기 이탈 때문은 아니었다. 15분 이상의 긴 공백은 문자 응답의 1% 안팎에 불과했고, 대신 응답시간의 분산이 문자에서 훨씬 컸다. 쉬운 문항은 빨리, 어려운 문항은 천천히 답하는, 과제 난이도에 맞춘 시간 배분이 일어난 것이다.

이 논문의 백미는 셋째 결과다. 응답시간을 3분위로 나눠 반올림 응답률을 보면, 문자 인터뷰에서는 느리게 답할수록 반올림이 줄었다(AT 기준 빠름 51.7% → 느림 39.3%). 시간을 들인 만큼 기억을 실제로 헤아려 정확한 수를 냈다는 해석이다. 음성 인터뷰에서는 정반대로, 느리게 답할수록 반올림이 늘었다(HV 기준 51.1% → 57.2%). 즉답이 가능한 응답자는 정확한 값을 빨리 말하지만, 바로 떠오르지 않는 응답자는 침묵의 압박 속에서 헤아리기를 포기하고 어림수를 던진다는 것이다. 같은 "느린 응답"이 문자에서는 품질의 신호이고 음성에서는 만족화의 전조라는, 응답시간 해석의 모드 의존성을 이만큼 깔끔하게 보여준 분석은 드물다.

넷째 결과는 실무자에게 가장 반가운 역설이다. 개별 인터뷰는 문자가 더 긴데, 필드 전체는 문자가 훨씬 빨리 끝났다. AT는 6일, HT는 11일 만에 목표를 채웠고 음성 두 모드는 16일이 걸렸다. AT는 첫날에 93%가 완료됐고 그중 75%는 초대 후 한 시간 안에 끝났다. 수수께끼의 답은 리크루팅 시간에 있다. 완료 응답자 기준 중위 리크루팅 시간이 AT 9분, HT 38분인 반면 AV는 4시간, HV는 20시간이었다. 문자 초대는 사실상 불접촉이 없고, 지속성과 인지성 덕에 재접촉 없이도 응답자가 스스로 돌아온다. 전화는 통화가 성사될 때까지 하루 이상 간격의 재시도가 쌓인다. 인터뷰 7.6분짜리 HV의 리크루팅이 20시간이니, 필드 속도는 인터뷰 길이가 아니라 리크루팅이 결정한다는 것이다. 저자들은 이 속도가 CNN 등이 대선 토론이나 국정연설 직후의 즉석 여론측정에 문자 인터뷰를 쓰는 이유라고 연결한다.

한계는 저자들도 길게 적었다. 데이터가 2012년 수집분이라 분석까지 10년 이상 묵었고, 편의표본이며, 사전에 조사 참여에 동의한 사람들에게 보낸 초대라 시작률이 콜드 초대보다 높게 나왔을 것이다. 다만 문자의 세 속성 자체는 그때나 지금이나 같으므로 기제에 대한 결론은 유지된다는 것이 저자들의 방어인데, 수긍할 만하다.

국내 실무의 관점에서는 이 논문을 읽을 때 모드 구분을 정확히 해두는 것이 중요하다. 이 논문의 문자 인터뷰는 문자 대화창 안에서 문항을 하나씩 주고받는 방식으로, 문자를 초대장으로만 쓰고 응답은 모바일 웹 설문에서 받는 방식과는 측정 환경이 다르다. 국내에서 통신사 마케팅 수신동의 가입자에게 SMS를 발송해 모바일 웹조사로 연결하는 방식은 후자에 속한다. 그래서 이 논문의 발견 중 리크루팅 관련 결과, 즉 문자 초대의 지속성과 인지성이 만드는 빠른 필드는 SMS 발송 기반 웹조사에도 그대로 적용되는 반면, 대화창 내 문답이라는 인터뷰 방식 자체의 효과는 별개 검증이 필요하다. 모바일 웹 설문도 응답자가 자기 속도로 진행하는 비동기적 환경이므로 반올림 감소 기제는 상당 부분 공유할 것으로 기대되지만, 한 문항씩 문자로 받는 것과 화면을 스크롤하며 답하는 것의 차이는 이 논문 바깥의 질문이다. 문항 수 상한에 대한 참고치도 하나 있다. 인용된 실험에 따르면 39문항까지는 문자 인터뷰의 완료율이 문자-웹 방식보다 높았고 그 이상에서 역전됐다.

마지막으로 자동 문자 인터뷰라는 형태 자체가 눈여겨볼 대상이다. 사전 스크립트 기반의 단순한 시스템으로도 첫날 93% 완료라는 속도가 나왔는데, LLM이 응답 확인과 재질문까지 처리하는 요즘의 대화형 에이전트를 얹으면 어떻게 될지는 자연스러운 다음 질문이다. 토론회 직후, 재난 직후처럼 측정 시점이 곧 데이터 가치인 조사에서, 자동 문자 인터뷰는 국내에서도 시도해 볼 여지가 있는 설계다.

---

소개한 논문

Conrad, F. G., Hupp, A. L., Antoun, C., Yan, H. Y., Schober, M. F., & Harrison, M. (2026). Text Messaging as a Survey Interviewing Mode: A Deeper Look. Journal of Survey Statistics and Methodology. https://doi.org/10.1093/jssam/smaf039

분석 데이터는 Open ICPSR에 공개되어 있다(https://doi.org/10.3886/E100113V2).

 

같은 설문, 세 플랫폼: MTurk 응답의 90%가 품질 검사를 통과하지 못했다

유료 응답자 패널로 웹조사를 돌릴 때 어느 플랫폼을 쓰느냐가 데이터 품질을 얼마나 좌우하는지 정면으로 비교한 연구가 나왔다. Kennesaw 주립대 연구진이 Survey Practice에 발표한 이 논문은 동일한 건강 설문을 Qualtrics(705명), SurveyMonkey(576명), Amazon Mechanical Turk(1,034명) 세 곳에서 수집하고, 20종의 품질 검사를 돌려 결과를 비교했다.

결과는 플랫폼 간 격차가 예상보다 훨씬 크다는 것이다. 완료 응답 2,315건 중 모든 검사를 통과한 응답은 947건, 40.9%에 그쳤다. 플랫폼별로는 SurveyMonkey 70.5%, Qualtrics 61.8%, MTurk 10.2%였다. MTurk 응답 열에 아홉이 최소 하나 이상의 품질 검사에 걸렸다는 뜻이다. 다만 SurveyMonkey는 80문항 제한 때문에 개방형 문항 검사를 넣지 못했고, 저자들도 이 수치가 부풀려졌을 가능성을 인정한다.

20종의 검사는 다섯 범주로 나뉜다. 지시형 주의 확인 문항("Moderate Difficulty를 선택하세요"), 인구통계 교차 확인(주와 우편번호 일치 여부), 논리 확인(하프마라톤이 울퉁불퉁한 길 걷기보다 쉽다고 답하는 경우), 정직성·신뢰성 확인(남성이 임신 중이라고 답하거나 BMI가 타당 범위를 벗어나는 경우, 중위 소요시간의 절반 미만 초고속 응답), 그리고 개방형 응답 검토다. 어떤 검사가 잘 작동하는지도 플랫폼마다 달랐다. MTurk에서는 정직성·신뢰성 검사가 응답의 40.4%를 걸러낸 반면, Qualtrics와 SurveyMonkey에서는 주의 확인 문항이 가장 많이 걸러냈다. 불량 응답자는 평균 1.5개 검사에만 걸렸고 여섯 개를 넘겨 걸린 사람은 없었다. 하나의 검사로는 잡히지 않는 응답자가 대부분이라는 뜻으로, 품질 관리를 단일 장치에 기대면 안 되는 이유다.

개방형 문항에서 나온 발견이 특히 눈에 띈다. 수동 검토에서 걸러진 응답의 세 유형은 AI 생성 의심 응답, 설문 문안이나 웹 문서를 그대로 붙여넣은 응답, 무의미 응답이었다. AI 의심 응답 중에는 "저는 물리적 신체가 없으므로 발이나 발목이 없고, 따라서 관련된 어려움을 경험하지 않습니다"라는, 발목 기능을 묻는 문항에 챗봇 거절 문구를 그대로 붙여넣은 사례가 있었다. 응답자가 질문을 LLM에 넣고 나온 답을 검수도 없이 제출한 것이다. 지난번에 소개한 POQ 논문(DiGiuseppe와 Flynn)이 숨은 지시문으로 상위 응답자의 4분의 1이 AI를 쓴다는 것을 밝혀낸 것과 나란히 놓고 보면, 유료 패널의 개방형 응답에 AI가 스며드는 현상은 이제 개별 플랫폼의 일탈이 아니라 업계 전반의 상수로 봐야 한다.

실무자에게 더 아픈 대목은 품질과 표본 구성의 관계다. 불량 응답은 인구통계적으로 무작위가 아니었다. Qualtrics에서는 남성과 고소득층에, MTurk에서는 중간 소득 구간에 몰려 있었다. 그래서 불량 응답을 제거하면 표본 구성이 센서스 기준에 가까워지는 대신, 사전에 설계한 할당 목표가 깨진다. 할당표집으로 대표성을 확보했다고 생각한 표본이 품질 검사를 거치고 나면 할당 미달 표본이 되는 것이다. 정제 후 할당을 다시 채우는 추가 수집 예산까지 설계 단계에서 잡아둬야 한다는 실무적 함의가 나온다.

국내 상황에 대입하면 두 가지 생각거리가 있다. 첫째, 이 연구의 세 플랫폼은 모두 자발적 가입 패널 기반이고, 특히 MTurk는 소액 보상을 노린 전업 응답자와 스크립트가 섞인 환경이다. 조사 초대 경로가 다른 조사, 예컨대 통신사 마케팅 수신동의 가입자에게 SMS를 발송해 모바일 웹조사로 연결하는 방식에서는 응답자 풀의 성격 자체가 다르므로 불량 응답의 구성비도 다를 것이다. 다만 어떤 경로든 개방형 응답의 AI 오염과 초고속 응답 문제는 공통이므로, 이 논문의 검사 목록은 점검표로 그대로 쓸 만하다. 둘째, 부록에 20종 검사 전체가 플랫폼별 적발률과 함께 공개되어 있어, 자체 품질 관리 프로토콜을 만들 때 출발점으로 삼기 좋다.

저자들의 결론은 담백하다. 돈을 내고 모은 응답이라고 해서 품질이 보장되지 않으며, 응답자와 검사 설계자 사이의 쫓고 쫓기는 관계는 계속될 것이므로, 조사마다 상황에 맞는 복수의 품질 장치를 사전에 심어두는 것이 유일한 대응이라는 것이다.

---

소개한 논문

Gittner, K. B., Matheny, L. M., Balkcom, G. D., et al. (2026). Data Quality in Online Crowdsourced Surveys: Methodological Challenges and Analytic Insights in Survey Research. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0017 (오픈액세스)