여섯 명, 20분, 열흘: 미국 센서스국의 마이크로테스팅

설문 개발 과정에서 인지면접을 한 라운드 더 돌리고 싶은데 일정과 예산이 허락하지 않는 상황은 누구나 겪는다. 대규모 설계 프로젝트일수록 검증 라운드가 계약으로 묶여 있어서, 앞 라운드 결과가 애매하게 나와도 다음 라운드까지 결정을 미루거나 무리하게 확정하고 넘어가야 한다. 미국 센서스국의 Jennifer Sinibaldi가 Survey Practice에 발표한 이 연구노트는 그 경직성을 푸는 도구로 마이크로테스팅(MicroTesting)이라는 기법을 제안한다.

정의는 이름 그대로다. 라운드당 6~10명, 인터뷰당 20분 내외, 전체 설문이 아니라 문제가 된 일부 구간만, 그 구간과 직접 관련된 응답자만 뽑아서 하는 짧은 질적 테스트다. 대규모 테스트가 계약으로 외주화되어 있어도 마이크로테스팅은 내부 인력으로 필요한 시점에 시작하고 원하는 피드백을 얻으면 바로 끝낸다.

배경이 된 프로젝트는 Current Population Survey의 연간 사회경제 부가조사(ASEC)를 웹 조사용으로 재설계하는 4년짜리 사업이다. 탐색 면접, 인지면접 두 라운드, 사용성 테스트까지 대형 질적 테스트 네 라운드가 계약에 박혀 있는데, 건강보험 유형을 거르는 초반 필터 문항의 보기 문안이 라운드를 거쳐도 확정되지 않았다. 여기에 마이크로테스팅이 투입됐다. 65세 이상만 뽑아 보충보험에 가입한 사람도 Medicare 보기를 제대로 고르게 하려면 어떤 키워드가 필요한지 확인하고, 교사만 뽑아 "school을 통한 보험"이라는 보기가 대학생용인데 교사가 잘못 고르지 않는지 확인했다. 여덟 명 인터뷰, 열흘 만에 종료됐다.

이 기법의 쓸모는 몇 가지로 정리된다. 다음 대형 라운드를 기다리지 않고 문제를 즉시 다룰 수 있고, 한 라운드에 너무 많은 검증 과제를 욱여넣는 압박을 덜어주며, A/B 대안을 미리 좁혀서 본 라운드가 단일안 정교화에 집중하게 해주고, 참고할 문헌이 없는 설계 판단을 데이터로 뒷받침할 수단이 된다. 저자는 가구원 관계 로스터를 순차 질문으로 할지 격자로 할지 같은 형식 결정을 인지면접 전에 마이크로테스팅으로 거르는 응용도 제안한다.

주의점도 실무적이다. 규모만 작을 뿐 프로토콜 설계, 리크루팅, 동의 절차, 결과 메모까지 정식 질적 테스트의 절차는 다 필요하다. 센서스국은 자체 리서치 패널에서 조건에 맞는 대상자를 초대해 리크루팅을 단축했다. 연방 조사라면 OMB 승인 서류에 마이크로테스팅 응답 부담까지 미리 반영해 두어야 한다는 대목은 미국 특유의 사정이지만, 계획 단계에서 여지를 확보해 두라는 조언 자체는 어디서나 유효하다.

국내 실무에 옮기면 이 기법의 자리는 분명하다. 공공 조사든 민간 조사든 국내에서는 사전 인지면접 자체가 생략되는 경우가 많고, 하더라도 한 번에 몰아서 한다. 마이크로테스팅은 그 관행에 대한 현실적 타협안이 된다. 문제가 되는 문항 서너 개만, 해당 문항과 이해관계가 있는 응답자 예닐곱 명에게, 열흘 안에 확인하는 것이라면 별도 예산 항목 없이도 돌릴 수 있다. 특히 발주처와 문안을 두고 줄다리기가 벌어질 때, "여덟 명에게 물어본 결과"는 회의실의 직관 대결을 끝내는 가장 싼 증거다.

---

소개한 논문

Sinibaldi, J. (2026). MicroTesting: Focused Qualitative Testing to Complement a Large Redesign Effort. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0027 (오픈액세스)