유럽조사협회(ESOMAR)에서 변화한 온라인 조사 환경에 맞추어 온라인 패널을 통한 웹조사를 하려는 고객이 알아야 할 질문 37개를 발표하였습니다.
https://esomar.org/code-and-guidelines/questions-for-users-and-buyers-of-online-sample
온라인 샘플 구매자를 위한 37가지 질문
회사 프로파일
1. 귀사는 시장 조사를 위해 온라인 샘플을 제공한 경험이 있습니까? 이 서비스를 제공하신 지 얼마나 되셨습니까? 다이렉트 마케팅 등
다른 용도로도 비슷한 서비스를 제공하나요? 만약 그렇다면, 당신의
업무 중 시장 조사를 위한 비율은 어느 정도인가요?
2. 샘플링 알고리즘 및 관련 자동화 기능의 성능을 개발하고 모니터링해야
하는 담당 직원이 이 분야에 대한 지식과 경험을 가지고 있습니까? 일선 직원에게 샘플링 기술에 대한
어떤 교육을 제공합니까?
3. 다른 서비스는 어떤 게 있나요?
샘플만 취급합니까, 아니면 광범위한 데이터 수집 및 분석 서비스를 제공합니까?
샘플 출처 및 리쿠르팅
4. 위의 광범위한 분류를 사용하여 온라인 샘플의 어떤 출처에서 참가자를
도출합니까?
5. 다음 중 독점적 또는 독점적 공급원이며 구매자에게 제공된 전체
샘플에서 각 공급원의 비율은 얼마입니까? (표본 제공자가 자산을 소유하고 있음을 의미한다고 가정합니다. 표본제공자가 원래 다른 기업이 수집한 표본에 대한 접근권을 관리/제공하는
독점적 계약을 가지고 있다는 것을 의미한다고 가정한다.)
6. 귀하가 설명한 각 출처에 대해 어떤 채용 채널을 사용하고 있습니까? 모집 과정은 '모든 사람에게 공개'인가요, 아니면 초청에 의해서만 진행되나요? 확률론적 방법을 사용하고 있습니까? 제휴 네트워크와 추천 프로그램을 어느 정도 사용하고 있습니까? 이
채널들을 사용하는 방법은 지역에 따라 어떻게 다릅니까?
7. 참가자가 실제적이고, 독특하며, 자신이 누구라고 말하는지 확인하기 위해 채용 시 어떤 형태의 검증을 사용하십니까?
8. 독점 소스와 함께 어떤 브랜드(도메인) 및/또는 앱을 사용하십니까? 모바일
앱, 이메일 또는 기타 지정된 수단을 통한 샘플 액세스 설문 조사 비율을 출처별로 요약합니다.
9. 샘플을 제공할 수 있는 모델은 무엇입니까? 관리 서비스, 셀프 서비스 또는
API 통합?
10. 절편을 제공하거나 둘 이상의 소스에 대한 액세스를 제공하는
경우 표본 구성에 대해 어느 정도의 투명도를 제공합니까(표본 소스, 혼합에
포함된 표본 공급자). 구매자가 프로젝트에 포함할 샘플의 출처를 통제하도록 하고, 그렇다면 어떻게 관리합니까? 제공되는 타사 소스와의 통합 메커니즘이
있습니까?
11. 사용 가능한 샘플 출처 중 각각이 다른 연구 용도에 적합한지에
대해 어떻게 설명하시겠습니까? 예를 들어, 구매자가 동일한
샘플로 다시 돌아가야 할 수 있는 제품 테스트 또는 다른 리크루트/리콜 상황에 적합한 샘플이 있습니까? 샘플이 짧은 설문지나 긴 설문지에 적합한가? 모바일 전용 설문지
또는 데스크톱 전용 설문지? 커뮤니티 모집에 적합한가요? 온라인
포커스 그룹?
샘플링 및 프로젝트 관리
12. 초대부터 설문 조사 완료까지의 전반적인 프로세스에 대해 간략하게
설명합니다. 대상 모집단을 "모양"으로 보이는 표본을 얻기 위해 어떤 단계를 밟습니까? 인구통계학적
할당량 통제(있는 경우)는 무엇입니까?
13. 패널 구성원의 80% 이상에
대해 어떤 프로파일링 정보와 사전 연락을 통해 알려진 가로채기 정보를 보유하고 있습니까? 당신이 제공하는
출처에 따라 이것이 어떻게 다릅니까? 각 데이터 포인트는 얼마나 자주 업데이트됩니까? 이 데이터 포인트를 데이터 세트에 추가되는 대로 제공할 수 있습니까? 이
프로파일링 정보를 직접 수집하십니까? 아니면 타사에서 제공합니까?
14. 실현 가능성에 대한 견적을 제공하기 위해 프로젝트에 대해 어떤
정보가 필요합니까? 이러한 추정치에 대한 상한 또는 하한을 제공하기 위해 어떤 조치를 취하십니까?
15. 현장에서 프로젝트를 완료하는 것이 불가능하다는 것이 입증되면
어떻게 하시겠습니까? 당신은 프로젝트를 완료하기 위해 누구를 사용할 것인지 샘플 구매자에게 알려주나요? 이러한 상황에서 제3자 출처/하청업체를
어떻게 유지하고 인증합니까?
16. 조사 라우터 또는 수익률 관리 기법을 사용하십니까? 그렇다면 설문조사에 참가자를 할당하는 방법에 대해 설명하십시오. 잠재적
참가자들이 어떻게 연구에 참여하도록 요청받습니까? 제공하는 각 소스에 대해 이 작업을 수행하는 방법을
지정하십시오.
17. 설문조사에 응하기 전에 참가자가 라우터에 있을 수 있는 시간을
제한합니까?
18. 설문 조사 참여 여부를 결정하기 전에 프로젝트에 대한 어떤
정보를 잠재적 참여자에게 제공합니까? 당신이 제공하는 출처에 따라 이것이 어떻게 다릅니까?
19. 참가자가 사용 가능한 설문 조사 중에서 설문 조사를 선택할
수 있도록 허용합니까? 그렇다면, 각 설문 조사에 대해 어떤
정보를 얻었습니까?
20. 설문 조사 과정에서 잠재적 참가자(또는 참가자의 하위 그룹)에게 제공되는 인센티브를 증가(또는 감소)할 수 있는 능력은 무엇입니까? 그렇다면 데이터 세트의 참가자 수준에서 플래그를 지정할 수 있습니까?
21. 개별 프로젝트 수준에서 참가자 만족도를 측정합니까?
22. 프로젝트가 완료된 후 프로젝트에 대한 결과 보고서를 제공합니까? 만약 그렇다면, 예를 들어줄 수 있습니까?
데이터 품질 및 검증
23. 동일한 개인이 얼마나 자주 설문조사에 참여할 수 있습니까? 샘플 출처에 따라 어떻게 달라집니까? 이 설문조사에 참여하기 전에
이미 설문조사를 실시했을 수 있는 평균 및 최대 시간은 얼마입니까? 어떻게 하는 겁니까?
24. 최근 참여 내역, 참가
날짜, 출처/채널 등 개별 참가자에 대해 어떤 데이터를 유지하고
있습니까? 이러한 개별 레벨 데이터에 대한 프로젝트 분석을 구매자에게 제공할 수 있습니까? 이러한 데이터 포인트를 참가자 기록에 추가할 수 있습니까?
25. 프로젝트 수준에서 참가자의 신원 확인을 위한 절차를 설명하십시오. 이러한 절차는 설문 조사 또는 라우터의 진입 지점에서 구현될 때 설명하십시오.
26. 프로젝트 레벨에서 소스 일관성 및 혼합을 어떻게 관리합니까? 추적기와 관련하여, 샘플 소스의 특성과 구성이 시간이 지남에 따라
동일하게 유지되도록 어떻게 보장합니까? 구매자에게 제공할 수 있는 블렌드와 소스에 대한 보고서가 있습니까? 소스를 참가자 데이터 기록에 추가할 수 있습니까?
27. 회원/참가자에 대해
유지 관리하는 건강 지표와 함께 참가자/회원 품질 추적 및 플랫폼, 라우터
또는 설문 조사에 참여하는 사람들을 초대, 추적, 검역 및
차단하는 데 사용되는 메트릭에 대해 설명하십시오. 프로파일링 및 알려진 데이터를 조사 중인 응답과 비교하기
위해 어떤 프로세스가 있습니까?
28. 평가 데이터를 프로그래밍, 호스팅
및 제공하는 작업의 경우 다음과 같이 원치 않는 평가 내 행동을 줄이거나 제거하기 위해 어떤 프로세스를 가지고 있습니까?
(a) 무작위 응답, (b) 비논리적이거나
일관성 없는 응답, (c) 항목 무응답의 과다 사용(예: "모름")
(d) 부정확하거나 일관되지 않은 응답, (e) 불완전한 응답 또는 (f) 설문조사가 너무 빨리 완료되었습니까?
정책 및 규정 준수
29. 참가자의 개인 정보 보호 정책(개인 정보 보호 정책이라고도 함)에 대한 링크와 함께 이 알림이 다루는
주요 개념에 대한 요약을 제공하십시오. (참고: 회사에서
여러 제품 또는 서비스에 대해 서로 다른 개인 정보 보호 통보를 사용하는 경우, 이 질문에 대한 답변에서
다루는 제품 또는 서비스와 관련된 예를 제공하십시오.)
30. 귀사는 운영 중인 다양한 국가에서 적용되는 주요 데이터 보호
법률 및 규정을 어떻게 준수합니까? 개인 데이터 처리에 대한 동의 또는 기타 법적 근거와 관련된 요구사항을
어떻게 해결합니까? 데이터 침해 대응, 국경 간 전송 및
데이터 보존에 대한 요구사항을 어떻게 해결합니까? 데이터 보호 담당자를 지정했습니까?
31. 참가자들은 개인 데이터 처리에 대한 동의를 어떻게 제공하고, 관리하고, 수정할 수 있는가? 참가자들에게
어떤 지원 채널을 제공하고 있습니까?
32. 참가자에게 지급되는 인센티브에 영향을 미칠 수 있는 다른 관련
법률 및 규정을 어떻게 추적하고 준수합니까?
33. 어린이와 청소년의 개인 데이터를 수집하고 처리하는 당신의 접근법은
무엇인가? ESOMAR 또는 GRBN 회원 협회가 제공하는
표준 및 지침을 준수합니까? 해당 데이터 보호 법률 및 규정을 어떻게 준수합니까?
34. 시스템 및 프로세스에
"설계별 데이터 보호"(설계별 개인 정보 보호라고도 함)를 구현하고 있습니까? 그렇다면 방법을 설명하십시오.
35. 정보 보안 컴플라이언스 프로그램의 핵심 요소는 무엇입니까? 준수하거나 인증하는 프레임워크 또는 감사 절차를 지정하십시오. 프로그램에
자산 기반 위험 평가 및 내부 감사 프로세스가 포함되어 있습니까?
36. ISO 20252와 같은 품질 프레임워크를 인증하거나 준수합니까?
메트릭스
37. 다음 중 구매자에게 국가별 및 출처별로
제공할 수 있는 것은 무엇입니까? 사용하는 각 메트릭에 대한 샘플 보고서의 링크를 포함하거나 파일을
첨부하십시오.
01. 월별 평균 합격률 또는 완료율 추이
02. 월별/프로젝트별로 거부된 유료
완료 비율(월별 추세)
03. 삭제/격리된 회원/계정 비율(월별 추이)
04. 월별로 추이하여 0-3개월 재직
기간 중 급여가 완료되는 비율
05.월별로 추이하여 스마트폰에서 완료되는 유료 비율
06. 월별 추세로 보면, 소유/브랜드 회원 관계 대 대행 참여자의 급여 완료
07. 회원당 월별(잠재적으로 코호트별) 평균 처분 횟수(조사 시도, 선별
배제 및 완료)
08. 월별 추세(잠재적으로 코호트별)인 구성원당 평균 지급 완료 횟수
09.지난 30일 동안 활동적인 고유
참가자
10. 최근 30일 동안 활동적인 18-24명의 남성 참가자
11. 특정 국가에서 natrep 쿼터가
있는 최대 실현 가능성, 7일 현장, 100% 발생률, 10분 인터뷰
12. 인도 시 전체 할당량에 도달한 할당량의 백분율(월별 추이)
***원문***
Questions
to help buyers of online samples
Company
Profile
1. What
experience does your company have in providing online samples for market
research? How long have you been providing this service? Do you also provide
similar services for other uses such as direct marketing? If so, what
proportion of your work is for market research?
2. Do you have
staff with responsibility for developing and monitoring the performance of the
sampling algorithms and related automated functions who also have knowledge and
experience in this area? What sort of training in sampling techniques do you
provide to your frontline staff?
3. What other
services do you offer? Do you cover sample-only, or do you offer a broad range
of data collection and analysis services?
Sample sources and Recruitment
4. Using the
broad classifications above, from what sources of online sample do you derive
participants?
5. Which of
these sources are proprietary or exclusive and what is the percent share of
each in the total sample provided to a buyer? (Assume proprietary to mean that
the sample provider owns the asset. Assume exclusive to mean that the sample
provider has an exclusive agreement to manage/provide access to sample
originally collected by another entity.)
6. What
recruitment channels are you using for each of the sources you have described?
Is the recruitment process ‘open to all’ or by invitation only? Are you using
probabilistic methods? Are you using affiliate networks and referral programs
and in what proportions? How does your use of these channels vary by geography?
7. What form
of validation do you use in recruitment to ensure that participants are real,
unique, and are who they say they are?
8. What brand
(domain) and/or app are you using with proprietary sources? Summarise, by
source, the proportion of sample accessing surveys by mobile app, email or
other specified means.
9. Which
model(s) do you offer to deliver sample? Managed service, self-serve, or API
integration?
10. If
offering intercepts, or providing access to more than one source, what level of
transparency do you offer over the composition of your sample (sample sources,
sample providers included in the blend). Do you let buyers control which
sources of sample to include in their projects, and if so how? Do you have any
integration mechanisms with third-party sources offered?
11. Of the
sample sources you have available, how would you describe the suitability of
each for different research applications? For example, Is there sample suitable
for product testing or other recruit/recall situations where the buyer may need
to go back again to the same sample? Is the sample suitable for shorter or
longer questionnaires? For mobile-only or desktoponly questionnaires? Is it
suitable to recruit for communities? For online focus groups?
Sampling And
Project Management
12. Briefly
describe your overall process from invitation to survey completion. What steps
do you take to achieve a sample that “looks like” the
target population? What demographic quota controls, if any, do you recommend?
13. What
profiling information do you hold on at least 80% of your panel members plus
any intercepts known to you through prior contact? How does this differ by the
sources you offer? How often is each of those data points updated? Can you
supply these data points as appends to the data set? Do you collect this
profiling information directly or is it supplied by a third party?
14. What
information do you need about a project in order to provide an estimate of
feasibility? What, if anything, do you do to give upper or lower boundaries around
these estimates?
15. What do
you do if the project proves impossible for you to complete in field? Do you
inform the sample buyer as to who you would use to complete the project? In
such circumstances, how do you maintain and certify third party sources/sub-contractors?
16. Do you
employ a survey router or any yield management techniques? If yes, please
describe how you go about allocating participants to surveys. How are potential
participants asked to participate in a study? Please specify how this is done
for each of the sources you offer.
17. Do you set
limits on the amount of time a participant can be in the router before they
qualify for a survey?
18. What
information about a project is given to potential participants before they
choose whether to take the survey or not? How does this differ by the sources
you offer?
19. Do you
allow participants to choose a survey from a selection of available surveys? If
so, what are they told about each survey that helps them to make that choice?
20. What
ability do you have to increase (or decrease) incentives being offered to
potential participants (or sub-groups of participants) during the course of a
survey? If so, can this be flagged at the participant level in the dataset?
21. Do you
measure participant satisfaction at the individual project level? If so, can
you provide normative data for similar projects (by length, by type, by
subject, by target group)?
22. Do
you provide a debrief report about a project after it has completed? If yes,
can you provide an example?
Data quality and
Validation
23. How often can the same
individual participate in a survey? How does this vary across your sample
sources? What is the mean and maximum amount of time a person may have already
been taking surveys before they entered this survey? How do you manage this?
24. What data do you maintain
on individual participants such as recent participation history, date(s) of
entry, source/channel, etc? Are you able to supply buyers with a project
analysis of such individual level data? Are you able to append such data points
to your participant records?
25. Please describe your
procedures for confirmation of participant identity at the project level.
Please describe these procedures as they are implemented at the point of entry
to a survey or router.
26. How do you manage source
consistency and blend at the project level? With regard to trackers, how do you
ensure that the nature and composition of sample sources remain the same over
time? Do you have reports on blends and sources that can be provided to buyers?
Can source be appended to the participant data records?
27. Please describe your
participant/member quality tracking, along with any health metrics you maintain
on members/participants, and how those metrics are used to invite, track,
quarantine, and block people from entering the platform, router, or a survey.
What processes do you have in place to compare profiled and known data to
in-survey responses?
28. For work where you program,
host, and deliver the survey data, what processes do you have in place to
reduce or eliminate undesired in-survey behaviours, such as (a) random
responding, (b) Illogical or inconsistent responding, (c) overuse of item
nonresponse (e.g., “Don’t Know”) (d) inaccurate or inconsistent responding, (e)
incomplete responding, or (f) too rapid survey completion?
Policies And Compliance
29. Please provide the link to
your participant privacy notice (sometimes referred to as a privacy policy) as
well as a summary of the key concepts it addresses. (Note: If your company uses
different privacy notices for different products or services, please provide an
example relevant to the products or services covered in your response to this
question).
30. How do you comply with key
data protection laws and regulations that apply in the various jurisdictions in
which you operate? How do you address requirements regarding consent or other
legal bases for the processing personal data? How do you address requirements
for data breach response, cross-border transfer, and data retention? Have you
appointed a data protection officer?
31. How can participants
provide, manage and revise consent for the processing of their personal data?
What support channels do you provide for participants?
32. How do you track and comply
with other applicable laws and regulations, such as those that might impact the
incentives paid to participants?
33. What is your approach to
collecting and processing the personal data of children and young people? Do
you adhere to standards and guidelines provided by ESOMAR or GRBN member
associations? How do you comply with applicable data protection laws and
regulations?
34. Do you implement “data
protection by design” (sometimes referred to as “privacy by design”) in your
systems and processes? If so, please describe how.
35. What are the key elements
of your information security compliance program? Please specify the
framework(s) or auditing procedure(s) you comply with or certify to. Does your
program include an asset-based risk assessment and internal audit process?
36. Do you certify to or comply
with a quality framework such as ISO 20252?
Metrics
37. Which of the following are
you able to provide to buyers, in aggregate and by country and source? Please
include a link or attach a file of a sample report for each of the metrics you
use.
01. Average qualifying or
completion rate, trended by month
02. Percent of paid completes
rejected per month/project, trended by month
03. Percent of members/accounts
removed/quarantined, trended by month
04. Percent of paid completes
from 0-3 months tenure, trended by month
05. Percent of paid completes
from smartphones, trended by month
06. Percent of paid completes
from owned/branded member relationships versus intercept participants, trended
by month
07. Average number of
dispositions (survey attempts, screenouts, and completes) per member, trended
by month (potentially by cohort)
08. Average number of paid
completes per member, trended by month (potentially by cohort)
09. Active unique participants
in the last 30 days
10. Active unique 18-24 male
participants in the last 30 days
11. Maximum feasibility in a
specific country with nat rep quotas, sevendays in field, 100% incidence,
10-minute interview
12. Percent of quotas that reached full quota at time of delivery, trended by month
