거대 플랫폼의 "돈 버는 서베이"와 자기선택 편향

거대 플랫폼의 "돈 버는 서베이"와 자기선택 편향

이용자 수천만의 앱에서 돌리는 설문이 왜 대표성을 갖지 못하는가

2026년 9월 10일 오후, 내 휴대전화에 깔린 앱 세 개를 차례로 열어 보았다. 카카오뱅크에는 "돈 버는 서베이"가, T멤버십에는 "돈 버는 설문"이, 패스에는 "설문앱테크"가 있었다. 셋 다 같은 말을 한다. 설문에 참여하고 용돈을 벌라는 것이다. 토스, 하나 같은 금융 앱에도 같은 메뉴가 붙어 있다. 몇 년 전만 해도 패널 회사의 전용 앱에서나 보던 화면이 이제 국민 대부분이 매일 여는 앱의 한 탭이 되었다.

이 글은 그 화면들을 조사방법론 관점에서 읽어 본 것이다. 결론부터 말하면, 플랫폼의 이용자 수가 아무리 커도 이 방식으로 모인 응답은 심각한 자기선택 편향을 안고 있으며, 그 편향은 흔히 쓰는 인구 변수 가중으로는 걷어낼 수 없다.

1. 화면에 무엇이 있었나

그림 1. 왼쪽부터 카카오뱅크 "돈 버는 서베이", T멤버십 "돈 버는 설문", 패스 "설문앱테크" (2026-09-10 캡처)

세 앱의 화면을 항목별로 정리하면 다음과 같다.

플랫폼	메뉴명	형태	소요·보상	비고
카카오뱅크	돈 버는 서베이	제휴 설문	10분, 800원	패널사 라우팅으로 보임
카카오뱅크	돈 버는 서베이	기본 정보	20~40초, 2~4원	구강케어·스마트워치·외식 등 프로파일링 문항
T멤버십	돈 버는 설문(퀵서베이)	자체 퀵서베이	10P	1주 게시, 참여 인원 마감 표시
패스	서베이(설문앱테크)	나만의 설문	8분, 20~400P	설문명이 고객사 코드(SM-BLS), 조건별 차등 지급
패스	서베이(설문앱테크)	나만의 설문	2분, 30~90P	동일 구조(LM-RH)

표 1. 세 플랫폼의 설문 메뉴 구성 (2026-09-10 기준)

구조가 조금씩 다르다. 카카오뱅크는 외부 패널사의 설문을 "제휴 설문"으로 받아 10분에 800원을 주고, 그 사이사이에 20초짜리 "기본 정보" 문항을 2원에 끼워 넣는다. 어떤 구강케어 제품을 쓰는지, 어떤 스마트워치를 차는지, 등산을 즐기는지 묻는 문항들이다. 이것은 조사가 아니라 프로파일 수집이다. 응답자 한 명의 소비 속성을 2원에 사 모아 두었다가 다음 제휴 설문의 타겟팅에 쓴다.

T멤버십은 자체 퀵서베이를 1주 단위로 게시하고 10P를 준다. 캡처 시점에 두 건 모두 "참여 인원 마감" 상태였다. 패스는 패널사의 라우팅 화면을 그대로 앱 안에 넣은 것으로 보인다. 설문명이 "일반인 의견 조사(SM-BLS)"처럼 고객사 코드로 표시되고, 보상은 "대상자 조건에 따라 자동지급"이라며 20~400P의 폭을 둔다. 이 앱 안에서 돌아가는 조사는 B2B 패널 물량이다.

2. 왜 이렇게 싸고, 왜 이렇게 빨리 마감되나

단가부터 보자. 10분에 800원이면 시급 4,800원이다. 2026년 최저임금의 절반이 안 된다. 20초에 2원은 시급으로 환산하면 360원이다. 그런데도 T멤버십의 퀵서베이는 게시 며칠 만에 인원이 찼다. 카카오뱅크 화면 위쪽에는 "추천 서베이 도착! 놓치지 마세요"라는 문구가 떠 있다. 놓칠까 봐 걱정해야 할 만큼 응답자가 몰린다는 뜻이다.

이 두 사실은 같은 것을 가리킨다. 응답자 공급이 넘친다. 공급이 넘치니 보상이 이 수준까지 내려왔고, 보상이 이 수준인데도 마감이 난다. 앱 사업자는 이용자의 체류시간과 프로파일 데이터를 얻고, 패널사는 리쿠르팅 비용을 아끼고, 응답자는 푼돈을 받는다. 세 당사자 모두에게 남는 장사이므로 이 방식은 당분간 계속 늘어날 것이다.

문제는 "참여 인원 마감"을 어떻게 읽느냐다. 발주자는 이것을 응답자가 많다는 신호로 읽고 싶어 한다. 그러나 같은 사람들이 빠르게 몰린다는 신호로 읽는 것이 맞다. 시급 5천원 아래에서 10분을 내놓는 사람이 누구인지 생각하면, 마감 속도는 표본의 폭이 아니라 표본의 좁음을 보여주는 지표다.

3. 모집단이 커도 표본은 커지지 않는다

"카카오뱅크 이용자 2천만 명이 응답할 수 있다"는 설명은 분모 이야기다. 응답이라는 행위는 분자에서 일어난다. 카카오뱅크를 깔았다는 것과, 혜택 탭에 들어가서, "서베이 참여하고 현금 받기"를 누르고, 20초짜리 문항을 2원에 찍는다는 것은 전혀 다른 일이다. 앞의 집단은 국민 대부분이지만 뒤의 집단은 따로 있다. 앱테크에 시간을 쓸 만큼 자기 시간의 값이 싼 사람, 그리고 이런 것을 찾아다니는 성향의 사람이다.

모집단이 커진다고 자기선택이 희석되지는 않는다. 분모만 커지고 실제 응답 집단은 그대로다. 겉으로 보이는 플랫폼 규모와 표본의 대표성은 서로 관계가 없다. 이 점에서 거대 플랫폼의 앱테크 설문은 패널 회사의 전용 앱보다 나을 것이 없고, 어떤 면에서는 더 나쁘다. 전용 앱은 최소한 가입 시점에 패널 관리라는 절차를 거치지만, 금융 앱의 서베이 탭은 그런 절차 없이 누구나 즉시 들어와 찍고 나간다.

이 편향의 크기는 주제에 따라 다르다. 앱테크 성향과 관계없는 주제, 예를 들어 좋아하는 라면 맛 같은 것은 큰 문제가 안 될 수 있다. 그러나 소비 여력, 금융 행동, 시간 사용, 노동 형태, 정치 관심 같은 주제는 앱테크 성향과 상관이 크다. 하필 금융 앱에서 돌리는 설문의 고객사가 가장 알고 싶어 하는 것이 바로 그런 주제들이다.

4. 가중치가 잡지 못하는 것

여기서 흔한 반론이 나온다. 성별, 연령, 지역을 맞춰 가중하면 되지 않느냐는 것이다. 되지 않는다. 가중은 응답자를 인구 셀에 넣고 셀별 비중을 맞추는 작업이다. 30대 남성 직장인 칸에 들어간 응답자는 30대 남성 직장인 전체를 대표하는 것이 아니라, 그중 앱테크를 하는 30대 남성 직장인만 대표한다. "설문 앱을 켜는 사람"이라는 속성은 인구 변수가 아니므로 가중 셀 안에 그대로 남는다.

가중이 작동하려면 조건이 하나 필요하다. 응답 여부가 가중 변수만으로 설명되고, 가중 변수가 같으면 응답자와 비응답자의 답이 같아야 한다. 이것을 무시 가능한 비응답(ignorable nonresponse) 가정이라 부른다. 앱테크 설문에서 이 가정은 처음부터 깨져 있다. 응답을 결정하는 것은 성별과 연령이 아니라 시간의 기회비용과 앱테크 성향이고, 이 둘은 조사 주제와 직접 얽혀 있다.

그래서 이 방식의 조사에서 "가중 후 결과"라는 표현은 안심의 근거가 되지 못한다. 가중은 인구 구성의 착시를 고쳐 줄 뿐이고, 진짜 편향은 각 셀 안에 그대로 있다. 가중 배율이 크게 벌어져 있다면 셀 안의 편향에 더해 분산까지 커진 것이다.

5. 보상 설계가 편향을 굳힌다

보상 방식 자체가 편향을 키우는 방향으로 짜여 있다. 첫째, 보상이 낮아질수록 남는 사람은 더 좁아진다. 800원에 10분을 내놓는 사람과 8,000원에 10분을 내놓는 사람은 다른 집단이다. 시급이 내려갈수록 응답 집단은 소득과 시간 여유가 특정한 방향으로 쏠린다.

둘째, "대상자 조건에 따라 20~400P"라는 차등 지급은 조건에 맞추려는 유인을 만든다. 스크리닝에서 탈락하면 20P, 통과해서 본설문까지 가면 400P라면, 응답자는 어떤 답이 통과되는지 금세 배운다. 실제로 그 제품을 쓰지 않아도 쓴다고 답하는 것이 합리적인 선택이 된다. 자기선택 위에 응답 왜곡이 얹힌다.

셋째, 같은 사람이 여러 앱에 동시에 가입해 있다. 내 휴대전화에도 세 개가 깔려 있었다. 같은 고객사의 조사가 여러 앱으로 라우팅되면 한 사람이 같은 조사에 두세 번 응답하는 것을 막을 방법이 없다. 패널사는 자사 패널 안에서만 중복을 관리할 수 있고, 플랫폼 간 중복은 누구도 관리하지 않는다.

넷째, 카카오뱅크의 "기본 정보" 문항은 프로파일링을 통해 다음 조사의 대상자를 미리 좁힌다. 편의상으로는 좋은 일이지만, 이미 좁은 응답 집단을 다시 프로파일로 잘라 쓰는 것이므로 표본은 조사 회차를 거듭할수록 더 특정한 사람들로 굳어진다.

6. 어디에 쓸 수 있고 어디에 못 쓰나

이 방식이 아무 쓸모가 없다는 말은 아니다. 속도와 비용은 압도적이다. 신제품 컨셉의 상대 비교, 광고 시안의 선호, 이름 후보의 반응처럼 절대 수준보다 대안 간 상대 순위가 중요한 조사에는 쓸 만하다. 응답 집단이 치우쳐 있어도 그 치우침이 모든 대안에 같은 방향으로 작용한다면 순위는 크게 흔들리지 않는다.

반면 절대 수준을 읽어야 하는 조사에는 쓸 수 없다. 국민의 몇 퍼센트가 어떤 의견인지, 어떤 정책에 찬성이 우세한지, 어떤 상품의 이용률이 얼마인지를 묻는 조사가 그렇다. 여론조사는 말할 것도 없고, 이용 실태나 인식 수준을 수치로 보고하는 정책조사, 시장조사도 이 방식으로는 안 된다. 그 수치가 대표하는 집단이 "앱테크를 하는 사람들"이라는 것을 보고서에 명시하지 않는 한 그렇다.

대비되는 방식은 조사자가 응답자를 고르는 접근이다. 통신사 가입자 DB처럼 모집단에 가까운 명부에서 조건에 맞게 뽑아 먼저 문자를 보내고, 응답할지 말지는 받은 사람이 정한다. 응답률은 앱테크 설문보다 훨씬 낮다. 그러나 접촉 대상이 애초에 무작위에 가깝기 때문에 비응답 편향은 다룰 수 있는 문제가 된다. 응답자가 조사를 고르는 것과 조사가 응답자를 고르는 것은 응답률로 비교할 수 없는 다른 방식이다.

7. 물어야 할 질문을 바꾸기

발주자가 조사 결과를 받을 때 보통 첫 질문은 "몇 명이 응답했느냐"다. 앱테크 설문에서 이 숫자는 언제나 넉넉하다. 그래서 이 숫자는 아무것도 말해 주지 않는다. 물어야 할 질문은 "누가 응답하지 않았느냐"다. 카카오뱅크 이용자 2천만 명 중 이 서베이 탭을 한 번도 열지 않은 사람들이 어떤 사람인지, 그들이 조사 주제에 대해 응답자와 다른 답을 갖고 있을 가능성이 얼마나 되는지가 결과의 신뢰도를 정한다.

이용자 규모가 큰 플랫폼일수록 이 질문을 피하기 쉽다. 숫자가 크면 대표성이 따라온다는 착각이 있기 때문이다. 그러나 이 글에서 본 세 화면은 반대를 보여준다. 분모가 아무리 커도 분자는 시급 5천원에 시간을 파는 사람들로 채워지고, 그 사실은 가중치로 지워지지 않으며, 보상 설계는 그 집단을 더 좁고 더 굳게 만든다. 플랫폼이 거대하다는 것과 표본이 대표적이라는 것은 별개의 문제다.